CN117422788B - 一种基于ct脑梗图像生成dwi图像的方法 - Google Patents
一种基于ct脑梗图像生成dwi图像的方法 Download PDFInfo
- Publication number
- CN117422788B CN117422788B CN202311746670.3A CN202311746670A CN117422788B CN 117422788 B CN117422788 B CN 117422788B CN 202311746670 A CN202311746670 A CN 202311746670A CN 117422788 B CN117422788 B CN 117422788B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- layer
- brain stem
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000133 brain stem Anatomy 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003902 lesion Effects 0.000 claims abstract description 59
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 19
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 42
- 238000013527 convolutional neural network Methods 0.000 claims description 30
- 206010008118 cerebral infarction Diseases 0.000 claims description 22
- 208000026106 cerebrovascular disease Diseases 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 19
- 230000006835 compression Effects 0.000 claims description 15
- 238000007906 compression Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 239000002131 composite material Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 238000002597 diffusion-weighted imaging Methods 0.000 description 42
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000014644 Brain disease Diseases 0.000 description 2
- 201000008247 brain infarction Diseases 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000002008 hemorrhagic effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 208000032382 Ischaemic stroke Diseases 0.000 description 1
- 206010028851 Necrosis Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 208000028867 ischemia Diseases 0.000 description 1
- 230000007654 ischemic lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于CT脑梗图像生成DWI图像的方法，涉及图像跨模态合成技术领域，步骤一CT图像脑梗病变分割，得到脑梗病变区域的分割掩码；步骤二CT图像到DWI序列跨模态生成，得到生成的脑梗图像DWI序列，通过医学图像分割与医学图像跨模态合成相结合提出了一种独特的方法，将传统的医学图像跨模态生成任务分为两个阶段，脑梗病变区域分割和脑梗图像跨模态合成；分割网络和生成网络是对现有技术的改进，可快速生成，且显示病变区域清晰，生成效果达到了很高的水平。
Description
技术领域
本发明属于图像跨模态合成技术领域，特别是涉及一种基于CT脑梗图像生成DWI图像的方法。
背景技术
脑梗是指脑部的血管发生堵塞，导致脑部血液供应不足，导致脑组织缺氧、缺血甚至坏死的一种疾病，又被称作缺血性脑卒中。计算机断层扫描（Computed Tomography, CT）是排除出血性脑疾病的首选影像检查方法，但是无法直接显示脑梗死区域。当排除了出血性脑疾病后，需要进一步的磁共振成像（MagneticResonance Imaging，MRI）检查。扩散加权成像（Diffusion Weighted Imgae，DWI）是检测急性脑梗塞最敏感的MRI序列，又称“卒中序列”，能很快发现缺血性病变，但是由于MRI价格昂贵，并且不适用于所有患者，例如幽闭症患者或者体内含有金属植入物的患者。随着深度学习在医学图像分析领域的发展，许多研究者开始利用深度学习方法来实现跨模态医学图像合成，此举可以在不用进行MRI扫描的情况下，实现MRI常规序列图像的人工智能合成，将极大降低因为延误救治时间所带来的疾病风险。
现有的脑梗CT到DWI的跨模态医学图像合成通常是基于生成对抗网络（Generative Adversarial Networks, GANs）或者扩散模型（Diffusion Model）这两种方法。思路也无非是使用CT直接生成DWI序列或是使用CT和其他的MRI序列一起生成DWI序列。但是上述方法和思路都存在一定的局限性。
例如，对抗网络的生成器通常是基于卷积操作，利用紧凑的滤波器来提取局部图像特征，限制了反映长距离空间依赖的上下文特征的表达能力，导致该模型不能有效提取病变信息，无法在合成图片中很好的显示病变区域。扩散模型是近年来兴起的新的生成技术，虽然在医学图像生成领域取得了较大的进步，但是扩散模型的生成结果对数据非常敏感，生成的结果具有很高的多样性，影响临床诊断。单独使用CT生成DWI是非常困难的，这是由于CT携带的信息较少，而DWI携带的信息较多，尤其是病变区域的生成非常不准确。还有一种是使用CT和其他的MRI序列生成DWI序列，这种方法本质上是利用MRI序列生成MRI序列，并不是严格意义上的CT生成DWI序列，实用性较低。
发明内容
本发明的目的在于提供一种基于CT脑梗图像生成DWI图像的方法，以解决上述背景技术所提出的问题，以实现脑梗CT到DWI序列医学图像的合成，具有生成DWI快速、显示病变区域清晰的特点。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种基于CT脑梗图像生成DWI图像的方法，包括以下步骤：
步骤一、CT图像脑梗病变分割，得到脑梗图像的病变区域，将NIFTI格式的三维脑梗CT图像经过归一化和加窗操作后得到一系列大小为256×256的二维CT灰度图像，将二维CT灰度图像输入到脑梗病变分割网络中，得到脑梗病变区域的分割掩码；
步骤二、CT图像到DWI序列跨模态生成，将脑梗二维CT灰度图像和脑梗分割掩码进行拼接，并输入到脑梗跨模态合成网络中，得到生成的脑梗图像DWI序列。
进一步地，所述步骤一中归一化是按照最小值中心化后，按极差缩放到[0, 1]之间，按照窗宽100窗位50进行加窗。
进一步地，所述步骤二中CT图像到DWI序列跨模态生成步骤如下：
步骤I、设计模型，模型由生成器和鉴别器组成，所述生成器由编码器、信息瓶颈层和解码器组成，所述鉴别器由卷积算子组成；损失函数使用复合型损失函数；
步骤II、编码器由若干个编码器层组成，每个编码器层由卷积层、层归一化和ReLU激活函数构成；解码器由若干个解码器层构成，每个解码器层由转置卷积层、层归一化和ReLU激活函数构成；信息瓶颈层由若干个聚合残差Transformer模块串联构成，每个聚合残差Transformer模块是Transformer模块、通道压缩模块和卷积神经网络模块的级联，所述Transformer模块用于提取全局上下文特征，所述卷积神经网络模块用于提取特征映射的局部特征，所述通道压缩模块用于处理残差模块的特征映射，对特征进行下采样，以提取与任务相关的上下文特征；Transformer模块和卷积神经网络模块都添加了跳转连接，创建了四条信息流路径；
步骤III、编码器输入的是CT脑梗图像和脑梗病变掩码的拼接，通过卷积层捕捉输入图像的局部特征提供给信息瓶颈层；利用信息瓶颈层中复杂和多样的特征提取方式，提取全局和局部信息的混合表示；通过基于转置卷积层的解码器，生成目标图像相近的矩阵输出。
进一步地，所述步骤II中四条信息流路径为：
（a）前一层网络的输出特征图通过Transformer模块的跳转连接层和卷积神经网络模块的跳转连接层，最大限度地保留前一阶段的特征信息；
（b）前一层网络的输出特征图通过Transformer模块和卷积神经网络模块的跳转连接，以计算并提取上下文全局特征；
（c）前一层网络的输出特征图通过Transformer模块的跳转连接和卷积神经网络模块，以计算并提取局部特征；
（d）前一层网络的输出特征图通过Transformer模块和卷积神经网络模块，以计算和提取混合局部上下文信息。
进一步地，所述鉴别器基于PatchGAN的鉴别器架构，鉴别器在获得的图像和合成图像之间执行补丁级判别，用于提升高空间频率信息相关局部细节的灵敏度。
进一步地，所述复合型损失函数是三项独立损失函数的加权求和，所述损失函数包括像素损失、重建损失和对抗损失。
进一步地，所述步骤二中CT图像到DWI序列跨模态生成，通过卷积滤波器将两通道的CT脑梗图像和脑梗病变掩码的拼接X映射到特征图上；其中/>是给定的通道数，/>分别表示特征图的高和宽，然后将这些特征表达提供给信息瓶颈层；生成器中的信息瓶颈层包含若干个聚合残差Transformer模块，聚合残差Transformer模块为Aggregated Residual Transformer block，以下简称ART模块；每个ART模块是Transformer模块、通道压缩模块和卷积神经网络模块的级联，通道压缩模块为ChannelCompression，以下简称CC模块，卷积神经网络模块，以下简称CNN模块；其中Transformer模块用于提取全局上下文特征，CNN模块用于输入特征映射的局部特征，CC模块用于处理Transformer模块的特征映射，对特征进行下采样，以提取与任务相关的上下文特征。
所述ART模块接收第j层特征映射作为特征输入，通过Transformer模块对特征图进行处理，为了方便训练，首先/>通过下采样得到/>，/>是由下采样中的通道数决定的，而/>是下采样因子决定的；然后Transformer分支来处理；
首先被分成/>个大小为P×P且不重叠的patch块，然后将这些patch块拉成1×/>大小的一维矩阵；Transformer模块通过可训练的线性映射将patch块嵌入到/>维空间，并辅以可学习的位置编码：
(1)
其中，是输入的patch嵌入，/>表示第P个patch块，/>为嵌入映射，表示可学习的位置编码；
其中，Transformer编码器通过L层多头自注意力机制和多层感知器来处理patch嵌入，多头自注意力机制为multi-headself-attention，以下简称MSA，多层感知器为multi-layerperceptrons，以下简称MLP；Transformer编码器的第L层输出为：
(2)
(3)
其中，公式2和公式3中的为MSA的输出，公式3中的/>表示MLP的输出，公式2中的MSA层包括了多个独立的自注意力头；Transformer编码器/>的输出被转换为，然后将/>通过使用转置卷积实现的上采样块/>还原为/>：
(4)
其中，为上采样输出的特征图；最后将通过Transformer模块学到的全局上下文信息与卷积算法提取的局部特征融合在一起；然后通过CC模块来处理融合后的特征：
(5)
其中，是通过跳转连接的特征映射，CC使用两个不同卷积和大小的分支来处理特征映射；
生成器的最后一个部分是基于转置卷积的解码器，解码器接收由信息瓶颈层提取的特征映射作为输入并生成目标模态图像/>，其中A是ART模块的总数，/>表示合成模态；
鉴别器使用的是基于PatchGAN的鉴别器架构；鉴别器在获得的图像和合成图像之间执行补丁级判别；
损失函数中的第一项是在目标图像和生成的目标图像之间的逐像素L1损失：
(6)
其中，E表示期望，G为生成器网络；另外，损失函数的第二项为基于距离的目标图像和生成的目标图像之间的像素级一致损失：
(7)
最后一项是通过条件鉴别器定义的对抗性损失：
(8)
D为鉴别器网络，最终的损失函数是这三项的和：
(9)
其中，，/>和/>分别是像素损失、重建损失和对抗损失的权重，权重值的设置是为了平衡不同损失的影响力。在深度学习模型中，通常会采用多个损失函数来训练模型，每个损失函数都有不同的目标和影响。设置权重可以控制每个损失函数对总体损失的贡献程度。
，/>和/>的值均为1，意味着每个损失函数对总体损失的贡献程度相等。这种设置可以使模型在训练过程中平衡地优化各个目标，避免某个损失函数过于占优导致其他目标被忽视。
本发明具有以下有益效果：
1、本发明通过医学图像分割与医学图像跨模态合成相结合提出了一种独特的方法，将传统的医学图像跨模态生成任务分为两个阶段，脑梗病变区域分割和脑梗图像跨模态合成；分割网络和生成网络是对现有技术的改进，可快速生成，且显示病变区域清晰，生成效果达到了很高的水平。
2、本发明将病变掩码与生成对抗网络相结合，提出了一种新的医学图像跨模态生成网络，在ResViT模式的基础上设计模型，发明利用深度卷积算子和Transformer的混合架构同时学习高分辨率结构和全局上下文特征。模型的输入是CT图像和其病变掩码的双通道图像组成，为CT图像提供了病变的先验信息，生成的DWI图像更为准确。
3、本发明生成图像的质量高、病变明显，提出的将病变掩码与生成对抗网络相结合的两阶段的脑梗图像跨模态生成框架在方法和网络上创新，所生成的DWI图像具有高分辨率、高对比度和真实感。MSE值为0.007，PSMR为22.100，SSIM的值为0.790。并且生成的病变区域也十分准确。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的脑梗病变分割网络模型示意图。
图2是本发明的生成模型框架示意图。
图3是本发明的聚合残差Transformer模块结构图。
图4是本发明的生成的DWI样例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-4所示，本发明为一种基于CT脑梗图像生成DWI图像的方法，包括以下步骤：
步骤一、CT图像脑梗病变分割，得到脑梗图像的病变区域，将NIFTI格式的三维脑梗CT图像经过归一化和加窗操作后得到一系列大小为256×256的二维CT灰度图像，将二维CT灰度图像输入到脑梗病变分割网络中，得到脑梗病变区域的分割掩码；
步骤二、CT图像到DWI序列跨模态生成，将脑梗二维CT灰度图像和脑梗分割掩码进行拼接，并输入到脑梗跨模态合成网络中，得到生成的脑梗图像DWI序列。
其中，步骤一中脑梗病变分割旨在得到脑梗病变区域的感兴趣区域（Region ofInterest, ROI）；将NIFTI格式的三维脑梗CT图像经过归一化和加窗操作后得到一系列大小为256×256的二维CT灰度图像，将二维CT灰度图像输入到脑梗病变分割网络中如图1所示，脑梗病变分割网络是一种二维卷积神经网络，网络的输入是二维的脑梗病变区域的掩码图像。其中，归一化是按照最小值中心化后，再按极差（最大值—最小值）缩放到[0, 1]之间，按照窗宽100窗位50进行加窗。
其中，所述步骤二中CT图像到DWI序列跨模态生成步骤如下：
步骤I、设计模型，模型由生成器和鉴别器组成，所述生成器由编码器、信息瓶颈层和解码器组成，所述鉴别器由卷积算子组成；损失函数使用复合型损失函数；
步骤II、编码器由三个编码器层组成，每个编码器层由卷积层、层归一化和ReLU激活函数构成；解码器由三个解码器层构成，每个解码器层由转置卷积层、层归一化和ReLU激活函数构成；信息瓶颈层由8个聚合残差Transformer模块串联构成，如图4所示，每个聚合残差Transformer模块是Transformer模块、通道压缩模块和卷积神经网络模块的级联，所述Transformer模块用于提取全局上下文特征，所述卷积神经网络模块用于提取特征映射的局部特征，所述通道压缩模块用于处理残差模块的特征映射，对特征进行下采样，以提取与任务相关的上下文特征；Transformer模块和卷积神经网络模块都添加了跳转连接，创建了四条信息流路径；
步骤III、编码器输入的是CT脑梗图像和脑梗病变掩码的拼接，通过卷积层捕捉输入图像的局部特征提供给信息瓶颈层；利用信息瓶颈层中复杂和多样的特征提取方式，提取全局和局部信息的混合表示；通过基于转置卷积层的解码器，生成目标图像相近的矩阵输出。
编码器输入的是CT脑梗图像和脑梗病变掩码的拼接，它由三个编码器层组成，每个编码器层由卷积层、层归一化和ReLU激活函数构成。编码器用于捕捉输入图像的局部特征。然后将这些特征表示提供给信息瓶颈层。接下来，该网络利用信息瓶颈层中复杂和多样的特征提取方式，提取全局和局部信息的混合表示。最后，通过基于转置卷积层的解码器，生成目标图像相近的矩阵输出。解码器由三个解码器层构成，每个解码器层由转置卷积层、层归一化和ReLU激活函数构成。而脑梗病变区域的作用是给定模型一个外部约束，提高病变的生成质量，如图4所示。
脑梗CT到DWI跨模态合成由两部分组成，脑梗病变分割和脑梗图像跨模态合成，脑梗分割的意义在于获得脑梗的感兴趣区域，在跨模态合成中作为病变的先验信息一同输入，目的是解决的DWI图像中病变不明显的缺点。本发明能更好的捕捉与健康组织相关的病变组织的信息，合成的DWI图像也能够较为清晰的看到病灶的位置。
使用三种客观的指标来对合成的DWI图像进行定量评估，包括归一化平均绝对误差（以下简称MSE）、峰值信噪比（以下简称PSNR）和结构相似性指标（以下简称SSIM）。其中，MSE值为0.007，PSMR为22.100，SSIM的值为0.790。此外，对生成结果进行的定性评估结果展示如图4所示，从视觉质量上，可以明显观察到生成的图像结构接近真实的图像并且合成的病灶较为准确，可以更好地辅助医生进行脑梗诊断。
可以在不用进行DWI扫描的情况下，实现DWI图像的人工智能合成，将极大的降低由放射性成分对特定人群造成的风险，减轻经济困难地区人们的经济负担，同时能够合成高质量的包含病变信息的DWI图像，显示了良好的临床应用潜力。
其中，所述步骤II中四条信息流路径为：
（a）前一层网络的输出特征图通过Transformer模块的跳转连接层和卷积神经网络模块的跳转连接层，最大限度地保留前一阶段的特征信息；
（b）前一层网络的输出特征图通过Transformer模块和卷积神经网络模块的跳转连接，以计算并提取上下文全局特征；
（c）前一层网络的输出特征图通过Transformer模块的跳转连接和卷积神经网络模块，以计算并提取局部特征；
（d）前一层网络的输出特征图通过Transformer模块和卷积神经网络模块，以计算和提取混合局部上下文信息。
其中，所述鉴别器基于PatchGAN的鉴别器架构，鉴别器在获得的图像和合成图像之间执行补丁级判别，用于提升高空间频率信息相关局部细节的灵敏度。
其中，所述复合型损失函数是三项独立损失函数的加权求和，所述损失函数包括像素损失、重建损失和对抗损失。
具体操作的实施例：将从医院采集到的一张DICOM格式的3D CT脑图像使用Python库dcm2nii将其转换为三维NITFI格式，之后使用Python中的nibabel库将该三维NIFTI格式图像归一化到[0,1]之间，归一化是按照最小值中心化后，再按极差（最大值—最小值）缩放实现的。然后将CT图像在归一化之前进行应用0到100Hu的阈值进行加窗。最后使用imageio库按照z轴将每一层的图像存储为大小为256×256尺寸的PNG格式的二维灰度图像。将二维灰度输入到脑梗放个网络中得到脑梗病变区域的分割掩码，之后将二维灰度图像和脑梗分割掩码进行拼接并输入到脑梗跨模态合成网络中便得到了脑梗图像的DWI序列。
一种基于CT脑梗图像生成DWI图像的方法包括脑梗病变区域分割和CT图像到DWI序列跨模态两个步骤。
在以往的脑梗CT到DWI序列合成的方法中，大多数是单独使用CT生成DWI，生成的病变区域非常不准确，由于在CT上脑梗病变区域十分不清楚，影响了DWI图像中病变的生成。然而本发明的创新在于使用医学图像分割的思路，首先将脑梗病变区域从CT图像中分割出来，在后续的生成任务中作为CT图像的先验信息，来提高图像生成质量。本发明提出了一种基于深度学习卷积的CT图像脑梗分割网络，该网络如图1所示，脑梗病变分割网络是基于经典的U-Net框架改进而来。该网络由四层下采样和四层上采样构成，残差模块替代上采样和下采样中的标准卷积，可以帮助网络学习到更深层次的特征表达。通过将浅层特征与深层特征相加，网络可以更好地捕捉到更具判别性的特征，从而提高网络的性能。在网络的跳转链接中，还添加了注意力机制，进一步减少语义隔阂问题。网络的输入为经过经预处理的二维CT图像，在经过四层上采样和四层下采样之后的到最后一张特征图，最后经过一个Softmax操作得到最终的脑梗病变区域掩膜。
得到脑梗病变区域后便是CT到DWI跨模态合成。生成模型由生成器和鉴别器组成。生成器主要用来学习目标图像的分布以生成更加真实的目标图像。鉴别器则对生成器生成的样本进行真假分类，判断其是否为真样本。如图2所示，脑梗CT到DWI图像生成网络的生成器网络由编码器、信息瓶颈层和解码器组成，鉴别器网络由卷积算子组成。生成器中的编码器输入的是CT脑梗图像和脑梗病变掩码的拼接，用于捕捉输入图像的局部特征。通过卷积滤波器将两通道的CT脑梗图像和脑梗病变掩码的拼接X映射到特征图上；其中/>是给定的通道数，/>分别表示特征图的高和宽，然后将这些特征表达提供给信息瓶颈层；生成器中的信息瓶颈层包含8个聚合残差Transformer模块，聚合残差Transformer模块为Aggregated Residual Transformer block，以下简称ART模块；每个ART模块是Transformer模块、通道压缩模块和卷积神经网络模块的级联，通道压缩模块为ChannelCompression，以下简称CC模块，卷积神经网络模块，以下简称CNN模块；其中Transformer模块用于提取全局上下文特征，CNN模块用于输入特征映射的局部特征。CC模块用于处理Transformer模块的特征映射，对特征进行下采样，以提取与任务相关的上下文特征。ART模块接收第j层特征映射/>作为特征输入，通过Transformer模块对特征图进行处理，为了方便训练，首先/>通过下采样得到/>，/>是由下采样中的通道数决定的，而/>是下采样因子决定的；然后Transformer分支来处理/>；
首先被分成/>个大小为P×P且不重叠的patch块，然后将这些patch块拉成1×/>大小的一维矩阵；Transformer模块通过可训练的线性映射将patch块嵌入到/>维空间，并辅以可学习的位置编码：
(1)
其中，是输入的patch嵌入，/>表示第P个patch块，/>为嵌入映射，表示可学习的位置编码；
其中，Transformer编码器通过L层多头自注意力机制和多层感知器来处理patch嵌入，多头自注意力机制为multi-headself-attention，以下简称MSA，多层感知器为multi-layerperceptrons，以下简称MLP；Transformer编码器的第L层输出为：
(2)
(3)
其中，公式2和公式3中的为MSA的输出，公式3中的/>表示MLP的输出，公式2中的MSA层包括了多个独立的自注意力头；Transformer编码器/>的输出被转换为，然后将/>通过使用转置卷积实现的上采样块/>还原为/>：
(4)
其中，为上采样输出的特征图；最后将通过Transformer模块学到的全局上下文信息与卷积算法提取的局部特征融合在一起；然后通过CC模块来处理融合后的特征：
(5)
其中，是通过跳转连接的特征映射，CC使用两个不同卷积和大小的分支来处理特征映射；
生成器的最后一个部分是基于转置卷积的解码器，解码器接收由信息瓶颈层提取的特征映射作为输入并生成目标模态图像/>，其中A是ART模块的总数，/>表示合成模态；
鉴别器使用的是基于PatchGAN的鉴别器架构；鉴别器在获得的图像和合成图像之间执行补丁级判别；这种方法提高了对与高空间频率信息相关的局部细节的灵敏度。
损失函数中的第一项是在目标图像和生成的目标图像之间的逐像素L1损失：
(6)
其中，E表示期望，G为生成器网络；另外，损失函数的第二项为基于距离的目标图像和生成的目标图像之间的像素级一致损失：
(7)
最后一项是通过条件鉴别器定义的对抗性损失：
(8)
D为鉴别器网络，最终的损失函数是这三项的和：
(9)
其中，，/>和/>分别是像素损失、重建损失和对抗损失的权重。权重值的设置是为了平衡不同损失的影响力。在深度学习模型中，通常会采用多个损失函数来训练模型，每个损失函数都有不同的目标和影响。设置权重可以控制每个损失函数对总体损失的贡献程度。
，/>和/>的值均为1，意味着每个损失函数对总体损失的贡献程度相等。这种设置可以使模型在训练过程中平衡地优化各个目标，避免某个损失函数过于占优导致其他目标被忽视。
使用的实验开发环境是pytorch1.9.0，在NVIDIA RTX 3090图形处理器上实现，网络使用Adam优化器，初始学习率为0.001，衰减权重为0.5，共训练了100个epoch。并使用ResCNN进行网络的预训练，学习率为0.0002，衰减权重为0.5，共训练50个epoch。batchsize设置为1。
本申请研发过程中存在的实质性困难有：
（1）数据来源具有一定的限制性：数据集来自多家医院和医疗机构，这些数据具有一定的保密和隐私限制，不容易获得。获取类似的医学图像数据需要与相关机构进行合作获得特定许可，是一个困难和耗时的过程。
（2）数据质量的要求：本申请的方法对脑梗图像数据的质量要求较高，需要CT和DWI图像的采集时间不超过24小时。图像需要清晰、高分辨率。更重要的是，这些数据需要专业的医师对脑梗病变区域进行手工标注，以及经过特殊的设备采集和人工处理，以确保其质量和可用性。如果没有相应的设备和技术支持，难以获得类似的高质量医学图像数据。
（3）医学图像处理技术：利用了多种医学图像处理技术，包括医学图像配准、成对数据集制作、医学图像分割和医学图像跨模态生成等，以及结合专业知识和经验。
（4）时间和资源的投入：包括数据采集、图像处理、算法实现和验证等方面的工作，更需要投入大量的人力结合计算机计算资源。耗费大量的时间和资源投入。
综上所述，专利的创新性和难以复制性主要体现在方法和技术创新、生成图像质量清晰可靠、数据获取、以及医学图像处理技术等方面。这些技术难度和专业性以及数据获取性要求其他技术人员在合理的时间和努力内无法很容易的复现该专利，从而确保了专利的新颖性和独特性。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。
Claims (7)
1.一种基于CT脑梗图像生成DWI图像的方法，其特征在于，包括以下步骤：
步骤一、CT图像脑梗病变分割，得到脑梗图像的病变区域，将NIFTI格式的三维脑梗CT图像经过归一化和加窗操作后得到一系列大小为256×256的二维CT灰度图像，将二维CT灰度图像输入到脑梗病变分割网络中，得到脑梗病变区域的分割掩码；
步骤二、CT图像到DWI序列跨模态生成，将脑梗二维CT灰度图像和脑梗分割掩码进行拼接，并输入到脑梗跨模态合成网络中，得到生成的脑梗图像DWI序列；
CT图像到DWI序列跨模态生成步骤在于设计模型，模型由生成器和鉴别器组成，所述生成器由编码器、信息瓶颈层和解码器组成，所述鉴别器由卷积算子组成；损失函数使用复合型损失函数；
跨模态生成通过卷积滤波器将两通道的CT脑梗图像和脑梗病变掩码的拼接X映射到特征图上；其中/>是给定的通道数，/>分别表示特征图的高和宽，然后将这些特征表达提供给信息瓶颈层；生成器中的信息瓶颈层包含若干个聚合残差Transformer模块，聚合残差Transformer模块为Aggregated Residual Transformerblock，以下简称ART模块，每个ART模块是Transformer模块、通道压缩模块和卷积神经网络模块的级联，通道压缩模块为ChannelCompression，以下简称CC模块，卷积神经网络模块，以下简称CNN模块；
所述 ART模块接收第j层特征映射作为特征输入，通过Transformer模块对特征图进行处理，为了方便训练，首先/>通过下采样得到/>，/>是由下采样中的通道数决定的，而/>是下采样因子决定的；然后Transformer分支来处理/>；
首先被分成/>大小为P×P且不重叠的patch块，然后将这些patch块拉成1×/>大小的一维矩阵；Transformer模块通过可训练的线性映射将patch块嵌入到/>维空间，并辅以可学习的位置编码：
(1)
其中，是输入的patch嵌入，/>表示第P个patch块，/>为嵌入映射，/>表示可学习的位置编码；
其中，Transformer编码器通过L层多头自注意力机制和多层感知器来处理patch嵌入，多头自注意力机制为multi-headself-attention，以下简称MSA，多层感知器为multi-layerperceptrons，以下简称MLP；Transformer编码器的第L层输出为：
(2)
(3)
其中，公式2和公式3中的为MSA的输出，公式3中的/>表示MLP的输出，公式2中的MSA层包括了多个独立的自注意力头；Transformer编码器/>的输出被转换为/>，然后将/>通过使用转置卷积实现的上采样块/>还原为/>：
(4)
其中，为上采样输出的特征图；最后将通过Transformer模块学到的全局上下文信息与卷积算法提取的局部特征融合在一起；然后通过CC模块来处理融合后的特征：
(5)
其中，是通过跳转连接的特征映射，CC使用两个不同卷积和大小的分支来处理特征映射；
生成器的最后一个部分是基于转置卷积的解码器，解码器接收由信息瓶颈层提取的特征映射作为输入并生成目标模态图像/>，其中A是ART模块的总数，/>表示合成模态；
鉴别器使用的是基于PatchGAN的鉴别器架构；鉴别器在获得的图像和合成图像之间执行补丁级判别；
损失函数中的第一项是在目标图像和生成的目标图像之间的逐像素L1损失：
(6)
其中，E表示期望，G为生成器网络；另外，损失函数的第二项为基于距离的目标图像和生成的目标图像之间的像素级一致损失：
(7)
最后一项是通过条件鉴别器定义的对抗性损失：
(8)
D为鉴别器网络，最终的损失函数是这三项的和：
(9)
其中，，/>和/>分别是像素损失、重建损失和对抗损失的权重，权重值的设置是为了平衡不同损失的影响力，在深度学习模型中，通常会采用多个损失函数来训练模型，每个损失函数都有不同的目标和影响，设置权重可以控制每个损失函数对总体损失的贡献程度；
，/>和/>的值均为1，意味着每个损失函数对总体损失的贡献程度相等。
2.根据权利要求1所述的一种基于CT脑梗图像生成DWI图像的方法，其特征在于，所述步骤一中归一化是按照最小值中心化后，按极差缩放到[0, 1]之间，按照窗宽100窗位50进行加窗。
3.根据权利要求1所述的一种基于CT脑梗图像生成DWI图像的方法，其特征在于，所述步骤二中CT图像到DWI序列跨模态生成步骤还包括：
步骤I、编码器由若干个编码器层组成，每个编码器层由卷积层、层归一化和ReLU激活函数构成；解码器由若干个解码器层构成，每个解码器层由转置卷积层、层归一化和ReLU激活函数构成；信息瓶颈层由若干个聚合残差Transformer模块串联构成，每个聚合残差Transformer模块是Transformer模块、通道压缩模块和卷积神经网络模块的级联，所述Transformer模块用于提取全局上下文特征，所述卷积神经网络模块用于提取特征映射的局部特征，所述通道压缩模块用于处理残差模块的特征映射，对特征进行下采样，以提取与任务相关的上下文特征；Transformer模块和卷积神经网络模块都添加了跳转连接，创建了四条信息流路径；
步骤II、编码器输入的是CT脑梗图像和脑梗病变掩码的拼接，通过卷积层捕捉输入图像的局部特征提供给信息瓶颈层；利用信息瓶颈层中复杂和多样的特征提取方式，提取全局和局部信息的混合表示；通过基于转置卷积层的解码器，生成目标图像相近的矩阵输出。
4.根据权利要求3所述的一种基于CT脑梗图像生成DWI图像的方法，其特征在于，所述步骤II中四条信息流路径为：
（a）前一层网络的输出特征图通过Transformer模块的跳转连接层和卷积神经网络模块的跳转连接层，最大限度地保留前一阶段的特征信息；
（b）前一层网络的输出特征图通过Transformer模块和卷积神经网络模块的跳转连接，以计算并提取上下文全局特征；
（c）前一层网络的输出特征图通过Transformer模块的跳转连接和卷积神经网络模块，以计算并提取局部特征；
（d）前一层网络的输出特征图通过Transformer模块和卷积神经网络模块，以计算和提取混合局部上下文信息。
5.根据权利要求1所述的一种基于CT脑梗图像生成DWI图像的方法，其特征在于，所述鉴别器基于PatchGAN的鉴别器架构，鉴别器在获得的图像和合成图像之间执行补丁级判别，用于提升高空间频率信息相关局部细节的灵敏度。
6.根据权利要求1所述的一种基于CT脑梗图像生成DWI图像的方法，其特征在于，所述复合型损失函数是三项独立损失函数的加权求和，所述损失函数包括像素损失、重建损失和对抗损失。
7.如权利要求1所述的一种基于CT脑梗图像生成DWI图像的方法，其特征在于，所述步骤二中Transformer模块用于提取全局上下文特征，CNN模块用于输入特征映射的局部特征，CC模块用于处理Transformer模块的特征映射，对特征进行下采样，以提取与任务相关的上下文特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746670.3A CN117422788B (zh) | 2023-12-19 | 2023-12-19 | 一种基于ct脑梗图像生成dwi图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746670.3A CN117422788B (zh) | 2023-12-19 | 2023-12-19 | 一种基于ct脑梗图像生成dwi图像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117422788A CN117422788A (zh) | 2024-01-19 |
| CN117422788B true CN117422788B (zh) | 2024-03-26 |
Family
ID=89528843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311746670.3A Active CN117422788B (zh) | 2023-12-19 | 2023-12-19 | 一种基于ct脑梗图像生成dwi图像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422788B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876241B (zh) * | 2024-03-12 | 2024-05-10 | 英瑞云医疗科技(烟台)有限公司 | 一种ct图像合成flair图像的方法、系统和设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730507A (zh) * | 2017-08-23 | 2018-02-23 | 成都信息工程大学 | 一种基于深度学习的病变区域自动分割方法 |
| CN114359194A (zh) * | 2021-12-27 | 2022-04-15 | 浙江大学 | 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法 |
| CN114677263A (zh) * | 2022-03-11 | 2022-06-28 | 深圳湾实验室 | Ct图像与mri图像的跨模态转换方法和装置 |
| CN114881848A (zh) * | 2022-07-01 | 2022-08-09 | 浙江柏视医疗科技有限公司 | 一种多序列mr转ct的方法 |
| CN115953345A (zh) * | 2023-03-09 | 2023-04-11 | 同心智医科技(北京)有限公司 | 脑出血医学图像的病变合成方法、装置及存储介质 |
| CN116152235A (zh) * | 2023-04-18 | 2023-05-23 | 英瑞云医疗科技(烟台)有限公司 | 一种肺癌ct到pet的医学图像跨模态合成方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11580646B2 (en) * | 2021-03-26 | 2023-02-14 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on U-Net |
| US12067646B2 (en) * | 2021-09-07 | 2024-08-20 | Google Llc | Cross-modal contrastive learning for text-to-image generation based on machine learning models |
| CN116129235B (zh) * | 2023-04-14 | 2023-06-23 | 英瑞云医疗科技(烟台)有限公司 | 一种脑梗ct到mri常规序列的医学图像跨模态合成方法 |
-
2023
- 2023-12-19 CN CN202311746670.3A patent/CN117422788B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730507A (zh) * | 2017-08-23 | 2018-02-23 | 成都信息工程大学 | 一种基于深度学习的病变区域自动分割方法 |
| CN114359194A (zh) * | 2021-12-27 | 2022-04-15 | 浙江大学 | 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法 |
| CN114677263A (zh) * | 2022-03-11 | 2022-06-28 | 深圳湾实验室 | Ct图像与mri图像的跨模态转换方法和装置 |
| CN114881848A (zh) * | 2022-07-01 | 2022-08-09 | 浙江柏视医疗科技有限公司 | 一种多序列mr转ct的方法 |
| CN115953345A (zh) * | 2023-03-09 | 2023-04-11 | 同心智医科技(北京)有限公司 | 脑出血医学图像的病变合成方法、装置及存储介质 |
| CN116152235A (zh) * | 2023-04-18 | 2023-05-23 | 英瑞云医疗科技(烟台)有限公司 | 一种肺癌ct到pet的医学图像跨模态合成方法 |
Non-Patent Citations (6)
| Title |
|---|
| Towards cross-modal organ translation and segmentation:A cycle- and shape-consistent generative adversarial network;Jinzheng Cai;《Medical Image Analysis》;20191231;摘要 * |
| 基于卷积神经网络和Transformer的医学图像分割研究;姜晓林;《万方数据库》;20230829;全文 * |
| 基于深度学习的跨模态医学图像转换;董国亚;宋立明;李雅芬;李文;谢耀钦;;中国医学物理学杂志;20201025(10);全文 * |
| 基于跨模态的急性缺血性卒中分割模型研究;马振霞;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20210228;全文 * |
| 基于配准对抗神经网络的RegGAN模型将CBCT图像转换为伪CT用于鼻咽癌自适应放疗可行性的研究;刘培;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20230215;全文 * |
| 面向急性缺血性脑卒中CT到MRI的跨模态图像生成算法;冯二燕;《万方数据库》;20230822;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117422788A (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113870258A (zh) | 一种基于对抗学习的无标签胰腺影像自动分割系统 | |
| CN117422788B (zh) | 一种基于ct脑梗图像生成dwi图像的方法 | |
| WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
| CN112102385B (zh) | 一种基于深度学习的多模态肝脏磁共振影像配准系统 | |
| CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
| CN113744275B (zh) | 一种基于特征变换的三维cbct牙齿图像的分割方法 | |
| CN114359310B (zh) | 一种基于深度学习的3d心室核磁共振视频分割优化系统 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| CN115147404B (zh) | 一种双重特征融合mra图像的颅内动脉瘤分割方法 | |
| Li et al. | Optical coherence tomography vulnerable plaque segmentation based on deep residual U-Net | |
| CN115512110A (zh) | 一种涉及跨模态注意力机制的医学图像肿瘤分割方法 | |
| CN116152235A (zh) | 一种肺癌ct到pet的医学图像跨模态合成方法 | |
| CN114565572A (zh) | 一种基于图像序列分析的脑出血ct图像分类方法 | |
| CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
| CN117274599A (zh) | 一种基于组合双任务自编码器的脑磁共振分割方法及系统 | |
| CN117746119A (zh) | 基于特征融合和注意力机制的超声图像乳腺肿瘤分类方法 | |
| CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
| Li et al. | Deep attention super-resolution of brain magnetic resonance images acquired under clinical protocols | |
| CN113902738A (zh) | 一种心脏mri分割方法及系统 | |
| Cai et al. | Triple multi-scale adversarial learning with self-attention and quality loss for unpaired fundus fluorescein angiography synthesis | |
| CN117633558A (zh) | 基于视觉语言模型的多激励融合零样本病变检测方法 | |
| CN116958094A (zh) | 一种动态增强磁共振影像特征生成病理图像特征的方法 | |
| CN114119558B (zh) | 一种自动生成鼻咽癌影像诊断结构化报告方法 | |
| CN116309614A (zh) | 基于多维深度学习的脑小血管病mri图像分割与辅助诊断方法与系统 | |
| CN112967295B (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |