CN117876241B - 一种ct图像合成flair图像的方法、系统和设备 - Google Patents
一种ct图像合成flair图像的方法、系统和设备 Download PDFInfo
- Publication number
- CN117876241B CN117876241B CN202410275182.7A CN202410275182A CN117876241B CN 117876241 B CN117876241 B CN 117876241B CN 202410275182 A CN202410275182 A CN 202410275182A CN 117876241 B CN117876241 B CN 117876241B
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- map
- subjected
- flair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 22
- 238000011176 pooling Methods 0.000 claims abstract description 128
- 238000010586 diagram Methods 0.000 claims abstract description 32
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 13
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 165
- 238000005070 sampling Methods 0.000 claims description 41
- 230000002776 aggregation Effects 0.000 claims description 29
- 238000004220 aggregation Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010189 synthetic method Methods 0.000 abstract description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 208000006011 Stroke Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000002075 inversion recovery Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000001308 synthesis method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 2
- 208000032382 Ischaemic stroke Diseases 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 206010008118 cerebral infarction Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000002610 neuroimaging Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 201000006474 Brain Ischemia Diseases 0.000 description 1
- 206010008120 Cerebral ischaemia Diseases 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 206010018985 Haemorrhage intracranial Diseases 0.000 description 1
- 206010061216 Infarction Diseases 0.000 description 1
- 208000008574 Intracranial Hemorrhages Diseases 0.000 description 1
- 206010053648 Vascular occlusion Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000007574 infarction Effects 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 230000007654 ischemic lesion Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 208000021331 vascular occlusion disease Diseases 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及医学图像合成技术领域，具体为一种CT图像合成FLAIR图像的方法、系统和设备；该合成方法，首先提取CT二维切片图的空间语义上下文信息，得到CT空间特征；然后，基于CT空间特征，与CT最大池化特征图和CT全局池化特征图，得到含有病灶区域信息又含有远程上下文信息的CT全局特征图；随后，进一步增强CT全局特征图的病灶区域特征表达，得到CT高分辨率特征图；最后，通过控制CT高分辨率特征图在不同尺度上与标准FLAIR图的损失熵均值的大小，来控制CT高分辨率特征图的表达能力，最后将满足要求的CT高分辨率特征图，作为合成FLAIR图像；该合成方法的均方误差小，合成结果结构相似性高，质量好。
Description
技术领域
本发明涉及医学图像合成技术领域，具体为一种CT图像合成FLAIR图像的方法、系统和设备。
背景技术
近年来，医学影像处理在计算机视觉领域的进步，推动医疗智能化的蓬勃发展。急性缺血性中风是由于血管阻塞引起的脑缺血引起的脑组织病变，计算机断层扫描（Computed Tomography, CT）对脑出血敏感，是排除脑卒中疑似颅内出血的首选方法。此外，CT图像成像速度快，可快速对患者脑部进行检查。但CT对急性缺血性脑卒中不敏感，病变影像不明显。排除脑出血后，若患者有脑卒中症状且CT阴性，则需进一步行磁共振成像(MRI)检查。而磁共振成像液体衰减反转序列（Fluid Attenuated Inversion Recovery，Flair）对急性缺血性脑卒中病变，尤其是小梗死灶极为敏感，可以准确判断出缺血性病变区域部分。
然而，MRI的解读成本高，耗时长，而且在特殊人群中使用有限，如金属植入物患者，这使得医生无法及时进行影像学诊断。随着深度学习在医学图像分析领域的发展，许多研究者开始利用深度学习方法来实现跨模态医学图像合成，此举可以在不用进行MRI扫描的情况下，实现MRI图像的人工智能合成，将极大降低因为延误救治时间所带来的疾病风险。
针对从CT到MRI的跨模态图像生成问题，现有技术可通过卷积组成的生成对抗网络来生成图像，在医学图像合成任务中有着良好的表现。但目前的生成对抗网络，易受局部感受野的限制，只能对图像进行局部特征提取，从而导致模型没有处理长距离空间依赖的能力，造成合成的Flair图像质量偏低。
发明内容
本发明的目的是提供一种CT图像合成FLAIR图像的方法、系统和设备。
本发明技术方案如下：
一种CT图像合成FLAIR图像的方法，包括如下操作：
S1、获取CT图像，所述CT图像经配准和z轴切片处理，得到CT二维切片图；
S2、所述CT二维切片图经残差处理、嵌入处理和多尺度空间线性投影处理，得到CT空间特征；所述CT空间特征与CT二维切片图经叠加处理，得到CT空间叠加图；所述CT空间叠加图经卷积处理，得到CT空间叠加卷积图；所述CT空间叠加卷积图分别经特征最大池化和特征全局池化处理，得到CT最大池化特征图和CT全局池化特征图；所述CT最大池化特征图和CT全局池化特征图经叠加处理后、与所述CT最大池化特征图和CT全局池化特征图进行拼接处理，得到CT池化聚合图；所述CT池化聚合图与CT空间叠加卷积图经对应位置处的像素相乘后，经归一化处理、非线性处理和上采样处理，得到CT全局特征图；所述CT二维切片图经下采样处理，得到CT下采样图；所述CT下采样图与CT全局特征图经叠加处理后，进行上采样处理，得到CT高分辨率特征图；
S3、所述CT高分辨率特征图分别经不同尺度的上采样处理，得到多尺度CT上采样特征图；分别获取多尺度CT上采样特征图，与标准FLAIR图的损失熵，得到多尺度损失熵；当多尺度损失熵的均值大于损失熵阈值时，所述CT高分辨率特征图执行S2的操作；当多尺度损失熵的均值不大于损失熵阈值时，输出CT高分辨率特征图，作为合成FLAIR图像。
S2中多尺度空间线性投影处理的操作具体为：所述CT二维切片图经残差处理和嵌入处理，得到CT嵌入特征；所述CT嵌入特征经不同投影尺度的空间线性投影处理，得到不同CT投影特征；所有CT投影特征经融合处理，得到所述CT空间特征；所述空间线性投影处理的操作具体为：CT嵌入特征分别与查询项线性投影矩阵、键项线性投影矩阵和值项线性投影矩阵进行逐点相乘，得到查询项空间特征、键项空间特征和值项空间特征；所述查询项空间特征和键项空间特征经逐点相乘和非线性处理，得到初始空间特征；所述初始空间特征与值项空间特征经逐点相乘处理，得到CT投影特征。
S2中特征最大池化的操作具体为：所述卷积处理CT空间叠加图后得到的特征图，经深度可分离卷积、非线性处理和最大池化处理，得到所述CT最大池化特征图。
S2中特征全局池化的操作具体为：所述卷积处理CT空间叠加图后得到的特征图，经卷积、非线性处理和全局池化处理，得到所述CT全局池化特征图。
S2中对应位置处的像素相乘的操作之前，还包括对CT池化聚合图进行多线性处理，得到CT多线性图；所述CT多线性图用于执行与所述CT空间叠加卷积图进行对应位置处的像素相乘的操作；所述多线性处理的操作具体为：所述CT池化聚合图依次经第一线性处理、第一非线性处理、第一参数丢失处理、第二非线性处理、第二参数丢失处理和第二线性处理，得到所述CT多线性图。
S3中，还包括对多尺度CT上采样特征图和标准FLAIR图分别进行多层卷积处理，所述多层卷积处理中，上一层卷积处理的输出，作为下一层卷积的输入；获取所有层的卷积处理多尺度CT上采样特征图与标准FLAIR图后的损失熵总和的均值，作为特征提取损失熵；所述特征提取损失熵与所述S3中的多尺度损失熵进行求和，得到更新损失熵；当所述更新损失熵的均值大于损失熵阈值时，所述CT高分辨率特征图执行S2的操作；当所述更新损失熵的均值不大于损失熵阈值时，输出CT高分辨率特征图，作为合成FLAIR图像。
S2中残差处理的操作具体为：将CT二维切片图进行卷积处理、非线性处理、卷积处理和非线性处理，得到第一非线性特征图；第一非线性特征图与CT二维切片图经融合处理后，进行非线性处理，得到CT二维残差图；所述CT二维残差图用于执行所述嵌入处理的操作。
一种CT图像合成FLAIR图像的系统，包括：
CT二维切片图生成模块，用于获取CT图像，所述CT图像经配准和z轴切片处理，得到CT二维切片图；
CT高分辨率特征图生成模块，用于所述CT二维切片图经残差处理、嵌入处理和多尺度空间线性投影处理，得到CT空间特征；所述CT空间特征与CT二维切片图经叠加处理，得到CT空间叠加图所述CT空间叠加图经卷积处理，得到CT空间叠加卷积图；所述CT空间叠加卷积图分别经特征最大池化和特征全局池化处理，得到CT最大池化特征图和CT全局池化特征图所述CT最大池化特征图和CT全局池化特征图经叠加处理后、与所述CT最大池化特征图和CT全局池化特征图进行拼接处理，得到CT池化聚合图；所述CT池化聚合图与CT空间叠加卷积图经对应位置处的像素相乘后，经归一化处理、非线性处理和上采样处理，得到CT全局特征图；所述CT二维切片图经下采样处理，得到CT下采样图；所述CT下采样图与CT全局特征图经叠加处理后，进行上采样处理，得到CT高分辨率特征图；
合成FLAIR图像生成模块，用于所述CT高分辨率特征图分别经不同尺度的上采样处理，得到多尺度CT上采样特征图；分别获取多尺度CT上采样特征图，与标准FLAIR图的损失熵，得到多尺度损失熵；当多尺度损失熵的均值大于损失熵阈值时，所述CT高分辨率特征图执行CT高分辨率特征图生成模块的操作；当多尺度损失熵的均值不大于损失熵阈值时，输出CT高分辨率特征图，作为合成FLAIR图像。
一种CT图像合成FLAIR图像的设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的CT图像合成FLAIR图像的方法。
一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的CT图像合成FLAIR图像的方法。
本发明的有益效果在于：
本发明提供的一种CT图像合成FLAIR图像的方法，首先对CT二维切片图经残差处理、嵌入处理和多尺度空间线性投影处理，得到含有空间语义上下文信息的CT空间特征；然后，将CT空间特征与含有原始特征的CT空间特征进行叠加后，分别进行特征最大池化和特征全局池化处理，提取CT二维切片图中所包含的病灶区域与非病灶区域的信息，得到CT最大池化特征图和CT全局池化特征图；接着，将CT最大池化特征图和CT全局池化特征图先进行叠加后，再与CT最大池化特征图和CT全局池化特征图进行拼接，实现池化信息的聚合，得到CT池化聚合图；随后，将含有病灶区域与非病灶区域的信息CT池化聚合图，与含有空间语义上下文信息的CT空间叠加卷积图经对应位置处的像素相乘后，经归一化处理、非线性处理和上采样处理，得到含有病灶区域信息又含有远程上下文信息的CT全局特征图；紧接着，将CT全局特征图与下采样后的CT二维切片进行叠加后，进行上采样处理，进一步增强CT全局特征图的病灶区域特征表达，得到CT高分辨率特征图；最后，通过控制CT高分辨率特征图在不同尺度上与标准FLAIR图的损失熵均值的大小，来控制CT高分辨率特征图的表达能力，将满足要求的CT高分辨率特征图，作为合成FLAIR图像；该合成方法的均方误差小，合成结果结构相似性高，质量好。
附图说明
通过阅读下文优选实施方式的详细描述，本申请的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为本实施例合成方法的流程示意图；
图2为实施例中，5种脑区域情况下，CT图、标准FLAIR图和合成FLAIR图像的对比图。
具体实施方式
下面将结合附图更详细地描述本公开的示例性实施方式。
本实施例提供了一种CT图像合成FLAIR图像的方法，参见图1，包括如下操作：
S1、获取CT图像，所述CT图像经配准和z轴切片处理，得到CT二维切片图；
S2、所述CT二维切片图经残差处理、嵌入处理和多尺度空间线性投影处理，得到CT空间特征；所述CT空间特征与CT二维切片图经叠加处理，得到CT空间叠加图；所述CT空间叠加图经卷积处理，得到CT空间叠加卷积图；所述CT空间叠加卷积图分别经特征最大池化和特征全局池化处理，得到CT最大池化特征图和CT全局池化特征图；所述CT最大池化特征图和CT全局池化特征图经叠加处理后、与所述CT最大池化特征图和CT全局池化特征图进行拼接处理，得到CT池化聚合图；所述CT池化聚合图与CT空间叠加卷积图经对应位置处的像素相乘后，经归一化处理、非线性处理和上采样处理，得到CT全局特征图；所述CT二维切片图经下采样处理，得到CT下采样图；所述CT下采样图与CT全局特征图经叠加处理后，进行上采样处理，得到CT高分辨率特征图；
S3、所述CT高分辨率特征图分别经不同尺度的上采样处理，得到多尺度CT上采样特征图；分别获取多尺度CT上采样特征图，与标准FLAIR图的损失熵，得到多尺度损失熵；当多尺度损失熵的均值大于损失熵阈值时，所述CT高分辨率特征图执行S2的操作；当多尺度损失熵的均值不大于损失熵阈值时，输出CT高分辨率特征图，作为合成FLAIR图像。
S1、获取CT图像，CT图像经配准和z轴切片处理，得到CT二维切片图。
首先，采集格式为医学数字成像和通信（Digital Imaging and Communicationsin Medicine，DICOM）的CT图像，接着将DICOM格式的CT图像转化为神经影像信息学技术倡议（Neuroimaging Informatics Technology Initiative，NIFTI）格式的CT三维图像。
然后，将三维格式的CT图像切割成256大小，并对三维格式的CT图像，基于标准FLAIR图像（Fluid Attenuated Inversion Recovery，磁共振成像液体衰减反转恢复序列）进行配准处理（将标准FLAIR图像为固定图像，CT图像设为浮动图像，对CT图像进行刚性配准处理），得到配准CT图像，将配准CT图像进行z轴切片处理，得到CT二维切片图。
S2、CT二维切片图经残差处理、嵌入处理和多尺度空间线性投影处理，得到CT空间特征；CT空间特征与CT二维切片图经叠加处理，得到CT空间叠加图；CT空间叠加图经卷积处理，得到CT空间叠加卷积图；CT空间叠加卷积图分别经特征最大池化和特征全局池化处理，得到CT最大池化特征图和CT全局池化特征图；CT最大池化特征图和CT全局池化特征图经叠加处理后、与CT最大池化特征图和CT全局池化特征图进行拼接处理，得到CT池化聚合图；CT池化聚合图与CT空间叠加卷积图经对应位置处的像素相乘后，经归一化处理、非线性处理和上采样处理，得到CT全局特征图；CT二维切片图经下采样处理，得到CT下采样图；CT下采样图与CT全局特征图经叠加处理后，进行上采样处理，得到CT高分辨率特征图。
为有效平衡CT二维切片图中高频和低频信息的重要性，获得高分辨率的CT特征图。首先，对CT二维切片图进行残差处理、嵌入处理和多尺度空间线性投影处理，得到含有空间语义上下文信息的CT空间特征；然后，将CT空间特征与含有原始特征的CT空间特征进行叠加后，分别进行特征最大池化和特征全局池化处理，提取CT二维切片图中所包含的病灶区域与非病灶区域的信息，得到CT最大池化特征图和CT全局池化特征图；接着，将CT最大池化特征图和CT全局池化特征图先进行叠加后，再与CT最大池化特征图和CT全局池化特征图进行拼接，实现池化信息的聚合，得到CT池化聚合图；紧接着，将含有病灶区域与非病灶区域的信息CT池化聚合图，与含有空间语义上下文信息的CT空间叠加卷积图经对应位置处的像素相乘后，经归一化处理、非线性处理和上采样处理，得到含有病灶区域信息又含有远程上下文信息的CT全局特征图；最后，将CT全局特征图与下采样后的CT二维切片进行叠加后，进行上采样处理，进一步增强CT全局特征图的病灶区域特征表达，得到CT高分辨率特征图。
其中，残差处理的操作为：将CT二维切片图进行卷积处理、非线性处理、卷积处理和非线性处理，得到第一非线性特征图；第一非线性特征图与CT二维切片图经融合处理后，进行非线性处理，得到CT二维残差图；CT二维残差图用于执行嵌入处理的操作。
多尺度空间线性投影处理的操作为：CT二维切片图经残差处理和嵌入处理，得到CT嵌入特征；CT嵌入特征经不同投影尺度的空间线性投影处理，得到不同CT投影特征；所有CT投影特征经融合处理，得到CT空间特征。
空间线性投影处理的操作具体为：CT嵌入特征分别与查询项线性投影矩阵、键项线性投影矩阵和值项线性投影矩阵进行逐点相乘，得到查询项空间特征、键项空间特征和值项空间特征；查询项空间特征和键项空间特征经逐点相乘和非线性处理，得到初始空间特征；初始空间特征与值项空间特征经逐点相乘处理，得到CT投影特征。查询项线性投影矩阵、键项线性投影矩阵和值项线性投影矩阵为自设的初始化权重矩阵。查询项线性投影矩阵为将原始查询项映射到更高维度空间的线性变换矩阵，查询项（Query）用于计算与键项的关联度，通过投影查询项，可以学到不同查询项之间的复杂关系；键项线性投影矩阵为将原始键项映射到更高维度空间的线性变换矩阵，键项（Key）用于计算与查询项的关联度，通过投影键项，可以学到不同键项之间的复杂关系；值项线性投影矩阵为将原始值项（Value）映射到更高维度空间的线性变换矩阵，值项的加权和用于生成输出，通过投影值项，可以学到不同值项之间的复杂关系。
特征最大池化的操作为：卷积处理CT空间叠加图后得到的特征图，经深度可分离卷积、非线性处理（可通过ReLU激活函数实现）和最大池化处理，得到CT最大池化特征图。
特征全局池化的操作具体为：卷积处理CT空间叠加图后得到的特征图，经卷积、非线性处理（可通过ReLU激活函数实现）和全局池化处理，得到CT全局池化特征图。
为增强CT池化聚合图的线性表达能力，S2中对应位置处的像素相乘的操作之前，还包括对CT池化聚合图进行多线性处理，得到CT多线性图；CT多线性图用于执行与CT空间叠加卷积图进行对应位置处的像素相乘的操作。
多线性处理的操作可以为：CT池化聚合图依次经第一线性处理（可通过神经网络中的线性层实现）、第一非线性处理（可通过ReLU激活函数实现）、第一参数丢失处理（可通过神经网络中的Dropout层实现）、第二非线性处理、第二参数丢失处理（可通过神经网络中的Dropout层实现）和第二线性处理，得到CT多线性图。
为增强CT空间特征中上下文信息的语义表达能力，得到CT全局特征图的操作之后，还包括对CT全局特征图进行语义分割处理，得到CT语义特征图；CT语义特征图执行与CT下采样图进行叠加处理的操作。
语义分割处理的操作为：CT全局特征图经卷积和下采样处理，得到第一下CT采样特征图；第一CT下采样特征图经卷积和下采样处理，得到第二CT下采样特征图；第二CT下采样特征图经卷积和下采样处理，得到第三CT下采样特征图；第三CT下采样特征图经卷积和上采样处理后，与第三CT下采样特征图经拼接处理，得到第三CT融合特征图；第三CT融合特征图经卷积和上采样处理后，与第二CT下采样特征图经拼接处理，得到第二CT融合特征图；第二CT融合特征图经卷积和上采样处理后，与第一CT下采样特征图经拼接处理，得到CT语义特征图。其中，卷积、下采样、上采样的处理次数，可根据实际需求进行调整，包含但并不仅限于上述的3次卷积和下采样的组合处理，以及3次卷积和上采样的组合处理。
S3、CT高分辨率特征图分别经不同尺度的上采样处理，得到多尺度CT上采样特征图；分别获取多尺度CT上采样特征图，与标准FLAIR图的损失熵，得到多尺度损失熵；当多尺度损失熵的均值大于损失熵阈值时，CT高分辨率特征图执行S2的操作；当多尺度损失熵的均值不大于损失熵阈值时，输出CT高分辨率特征图，作为合成FLAIR图像。
根据CT高分辨率特征图在具有大范围感受野的不同尺度上与标准FLAIR图的损失熵均值的大小，来控制CT高分辨率特征图是否需要进行反向的继续增强处理，直到输出的CT高分辨率特征图与标准FLAIR图的病灶特征表达能力相同或相似时，输出满足要求的CT高分辨率特征图，得到基于CT图像合成的FLAIR图像，即合成FLAIR图像，参见图2。
多尺度损失熵的均值可通过如下公式得到：
，
LOSS为多尺度损失熵的均值，G为S2中操作对应的生成器，D 1 、D 2 、D K 分别为上采样倍数为1、2、K对应的的鉴别器，s为CT二维切片图，x为标准FLAIR图，D k （s,x）为经生成器处理的CT二维切片图与标准FLAIR图在第k个鉴别器中的损失熵，即CT高分辨率特征图与标准FLAIR图在第k个鉴别器中的损失熵；D k （s,G(s)）为经生成器处理的CT二维切片图，与CT二维切片图在第k个鉴别器中的损失熵，即高分辨率特征图与CT二维切片图在第k个鉴别器中的损失熵；E( )为期望函数。
为进一步确保输出的合成FLAIR图像的病灶表达能力，与标准FLAIR图像的病灶表达能力更接近，提高合成FLAIR图像的合成质量。
S3中，还包括对多尺度CT上采样特征图和标准FLAIR图分别进行多层卷积处理，多层卷积处理中，上一层卷积处理的输出，作为下一层卷积的输入；
获取所有层的卷积处理多尺度CT上采样特征图与标准FLAIR图后的损失熵总和的均值，作为特征提取损失熵；特征提取损失熵与S3中的多尺度损失熵进行求和，得到更新损失熵；当更新损失熵的均值大于损失熵阈值时，CT高分辨率特征图执行S2的操作；当更新损失熵的均值不大于损失熵阈值时，输出CT高分辨率特征图，作为合成FLAIR图像。
更新损失熵可通过如下公式得到：
，
LOSS ’ 为更新损失熵，LOSS为多尺度损失熵的均值，λ为特征提取权重，为经第i层卷积处理后的CT高分辨率特征图与经第i层卷积处理后的标准FLAIR图在第k个鉴别器中的损失熵，I为卷积层的总数，/>为经第i层卷积处理后的高分辨率特征图与经第i层卷积处理后的CT二维切片图在第k个鉴别器中的损失熵，|| || 1 为L1范式处理。
为提高计算效率，不同尺度的上采样处理，分别为1倍、2倍和4倍的上采样处理。
为验证本实施例合成方法的效果，做了如下实验。
实验数据集以8：2的比例被随机划分为训练集和测试集。每位脑梗患者的CT图和MRI图包含多个横断面的2D图像切片，将这些切片重采样为256×256的大小。使用的实验开发环境是pytorch2.0.1，在NVIDIA RTX 2080图形处理器上，使用Adam优化器，学习率为0.0002。在前100个epoch中保持相同的学习率，并在接下来的100个epoch中将学习率线性衰减到零。权重从均值为0，标准差为0.02的高斯分布初始化。batch size设置为1，在NVIDIA RTX 2080 图形处理器训练了约25个小时，实验环境和具体设置如表1所示。
表1 实验参数汇总
。
另外，实验中测定本实施例合成方法的均方误差、峰值信噪比和结构相似性（测定方法为本领域现有常用技术，为节省篇幅，不在此过多叙述测定方法的具体流程），参见表2，发现本实施例基于CT图像合成FLAIR图像的方法，均方误差小，合成FLAIR图像与标准FLAIR图像的结构相似性高，合成FLAIR图像的质量高。
表2 实验结果汇总
。
本实施例还提供了一种CT图像合成FLAIR图像的系统，包括：
CT二维切片图生成模块，用于获取CT图像，CT图像经配准和z轴切片处理，得到CT二维切片图；
CT高分辨率特征图生成模块，用于CT二维切片图经残差处理、嵌入处理和多尺度空间线性投影处理，得到CT空间特征；CT空间特征与CT二维切片图经叠加处理，得到CT空间叠加图CT空间叠加图经卷积处理，得到CT空间叠加卷积图；CT空间叠加卷积图分别经特征最大池化和特征全局池化处理，得到CT最大池化特征图和CT全局池化特征图CT最大池化特征图和CT全局池化特征图经叠加处理后、与CT最大池化特征图和CT全局池化特征图进行拼接处理，得到CT池化聚合图；CT池化聚合图与CT空间叠加卷积图经对应位置处的像素相乘后，经归一化处理、非线性处理和上采样处理，得到CT全局特征图；CT二维切片图经下采样处理，得到CT下采样图；CT下采样图与CT全局特征图经叠加处理后，进行上采样处理，得到CT高分辨率特征图；
合成FLAIR图像生成模块，用于CT高分辨率特征图分别经不同尺度的上采样处理，得到多尺度CT上采样特征图；分别获取多尺度CT上采样特征图，与标准FLAIR图的损失熵，得到多尺度损失熵；当多尺度损失熵的均值大于损失熵阈值时，CT高分辨率特征图执行CT高分辨率特征图生成模块的操作；当多尺度损失熵的均值不大于损失熵阈值时，输出CT高分辨率特征图，作为合成FLAIR图像。
本实施例还提供了一种CT图像合成FLAIR图像的设备，包括处理器和存储器，其中，处理器执行存储器中保存的计算机程序时实现上述的CT图像合成FLAIR图像的方法。
本实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时实现上述的CT图像合成FLAIR图像的方法。
本实施例提供的一种CT图像合成FLAIR图像的方法，首先对CT二维切片图经残差处理、嵌入处理和多尺度空间线性投影处理，得到含有空间语义上下文信息的CT空间特征；然后，将CT空间特征与含有原始特征的CT空间特征进行叠加后，分别进行特征最大池化和特征全局池化处理，提取CT二维切片图中所包含的病灶区域与非病灶区域的信息，得到CT最大池化特征图和CT全局池化特征图；接着，将CT最大池化特征图和CT全局池化特征图先进行叠加后，再与CT最大池化特征图和CT全局池化特征图进行拼接，实现池化信息的聚合，得到CT池化聚合图；随后，将含有病灶区域与非病灶区域的信息CT池化聚合图，与含有空间语义上下文信息的CT空间叠加卷积图经对应位置处的像素相乘后，经归一化处理、非线性处理和上采样处理，得到含有病灶区域信息又含有远程上下文信息的CT全局特征图；紧接着，将CT全局特征图与下采样后的CT二维切片进行叠加后，进行上采样处理，进一步增强CT全局特征图的病灶区域特征表达，得到CT高分辨率特征图；最后，通过控制CT高分辨率特征图在不同尺度上与标准FLAIR图的损失熵均值的大小，来控制CT高分辨率特征图的表达能力，将满足要求的CT高分辨率特征图，作为合成FLAIR图像；该合成方法的均方误差小，合成结果结构相似性高，质量好。
Claims (10)
1.一种CT图像合成FLAIR图像的方法，其特征在于，包括如下操作：
S1、获取CT图像，所述CT图像经配准和z轴切片处理，得到CT二维切片图；
S2、所述CT二维切片图经残差处理、嵌入处理和多尺度空间线性投影处理，得到CT空间特征；所述CT空间特征与CT二维切片图经叠加处理，得到CT空间叠加图；
所述CT空间叠加图经卷积处理，得到CT空间叠加卷积图；所述CT空间叠加卷积图分别经特征最大池化和特征全局池化处理，得到CT最大池化特征图和CT全局池化特征图；
所述CT最大池化特征图和CT全局池化特征图经叠加处理后、与所述CT最大池化特征图和CT全局池化特征图进行拼接处理，得到CT池化聚合图；所述CT池化聚合图与CT空间叠加卷积图经对应位置处的像素相乘后，经归一化处理、非线性处理和上采样处理，得到CT全局特征图；
所述CT二维切片图经下采样处理，得到CT下采样图；所述CT下采样图与CT全局特征图经叠加处理后，进行上采样处理，得到CT高分辨率特征图；
S3、所述CT高分辨率特征图分别经不同尺度的上采样处理，得到多尺度CT上采样特征图；分别获取多尺度CT上采样特征图，与标准FLAIR图的损失熵，得到多尺度损失熵；当多尺度损失熵的均值大于损失熵阈值时，所述CT高分辨率特征图执行S2的操作；当多尺度损失熵的均值不大于损失熵阈值时，输出CT高分辨率特征图，作为合成FLAIR图像。
2.根据权利要求1所述的CT图像合成FLAIR图像的方法，其特征在于，所述S2中多尺度空间线性投影处理的操作具体为：
所述CT二维切片图经残差处理和嵌入处理，得到CT嵌入特征；所述CT嵌入特征经不同投影尺度的空间线性投影处理，得到不同CT投影特征；所有CT投影特征经融合处理，得到所述CT空间特征；
所述空间线性投影处理的操作具体为：CT嵌入特征分别与查询项线性投影矩阵、键项线性投影矩阵和值项线性投影矩阵进行逐点相乘，得到查询项空间特征、键项空间特征和值项空间特征；
所述查询项空间特征和键项空间特征经逐点相乘和非线性处理，得到初始空间特征；
所述初始空间特征与值项空间特征经逐点相乘处理，得到CT投影特征。
3.根据权利要求1所述的CT图像合成FLAIR图像的方法，其特征在于，所述S2中特征最大池化的操作具体为：
所述卷积处理CT空间叠加图后得到的特征图，经深度可分离卷积、非线性处理和最大池化处理，得到所述CT最大池化特征图。
4.根据权利要求1所述的CT图像合成FLAIR图像的方法，其特征在于，所述S2中特征全局池化的操作具体为：
所述卷积处理CT空间叠加图后得到的特征图，经卷积、非线性处理和全局池化处理，得到所述CT全局池化特征图。
5.根据权利要求1所述的CT图像合成FLAIR图像的方法，其特征在于，所述S2中对应位置处的像素相乘的操作之前，还包括对CT池化聚合图进行多线性处理，得到CT多线性图；所述CT多线性图用于执行与所述CT空间叠加卷积图进行对应位置处的像素相乘的操作；
所述多线性处理的操作具体为：所述CT池化聚合图依次经第一线性处理、第一非线性处理、第一参数丢失处理、第二非线性处理、第二参数丢失处理和第二线性处理，得到所述CT多线性图。
6.根据权利要求1所述的CT图像合成FLAIR图像的方法，其特征在于，所述S3中，还包括对多尺度CT上采样特征图和标准FLAIR图分别进行多层卷积处理，所述多层卷积处理中，上一层卷积处理的输出，作为下一层卷积的输入；
获取所有层的卷积处理多尺度CT上采样特征图与标准FLAIR图后的损失熵总和的均值，作为特征提取损失熵；
所述特征提取损失熵与所述S3中的多尺度损失熵进行求和，得到更新损失熵；当所述更新损失熵的均值大于损失熵阈值时，所述CT高分辨率特征图执行S2的操作；当所述更新损失熵的均值不大于损失熵阈值时，输出CT高分辨率特征图，作为合成FLAIR图像。
7.根据权利要求1所述的CT图像合成FLAIR图像的方法，其特征在于，所述S2中残差处理的操作具体为：
将CT二维切片图进行卷积处理、非线性处理、卷积处理和非线性处理，得到第一非线性特征图；第一非线性特征图与CT二维切片图经融合处理后，进行非线性处理，得到CT二维残差图；
所述CT二维残差图用于执行所述嵌入处理的操作。
8.一种CT图像合成FLAIR图像的系统，其特征在于，包括：
CT二维切片图生成模块，用于获取CT图像，所述CT图像经配准和z轴切片处理，得到CT二维切片图；
CT高分辨率特征图生成模块，用于所述CT二维切片图经残差处理、嵌入处理和多尺度空间线性投影处理，得到CT空间特征；所述CT空间特征与CT二维切片图经叠加处理，得到CT空间叠加图所述CT空间叠加图经卷积处理，得到CT空间叠加卷积图；所述CT空间叠加卷积图分别经特征最大池化和特征全局池化处理，得到CT最大池化特征图和CT全局池化特征图所述CT最大池化特征图和CT全局池化特征图经叠加处理后、与所述CT最大池化特征图和CT全局池化特征图进行拼接处理，得到CT池化聚合图；所述CT池化聚合图与CT空间叠加卷积图经对应位置处的像素相乘后，经归一化处理、非线性处理和上采样处理，得到CT全局特征图；所述CT二维切片图经下采样处理，得到CT下采样图；所述CT下采样图与CT全局特征图经叠加处理后，进行上采样处理，得到CT高分辨率特征图；
合成FLAIR图像生成模块，用于所述CT高分辨率特征图分别经不同尺度的上采样处理，得到多尺度CT上采样特征图；分别获取多尺度CT上采样特征图，与标准FLAIR图的损失熵，得到多尺度损失熵；当多尺度损失熵的均值大于损失熵阈值时，所述CT高分辨率特征图执行CT高分辨率特征图生成模块的操作；当多尺度损失熵的均值不大于损失熵阈值时，输出CT高分辨率特征图，作为合成FLAIR图像。
9.一种CT图像合成FLAIR图像的设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7任一项所述的CT图像合成FLAIR图像的方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的CT图像合成FLAIR图像的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410275182.7A CN117876241B (zh) | 2024-03-12 | 2024-03-12 | 一种ct图像合成flair图像的方法、系统和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410275182.7A CN117876241B (zh) | 2024-03-12 | 2024-03-12 | 一种ct图像合成flair图像的方法、系统和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117876241A CN117876241A (zh) | 2024-04-12 |
| CN117876241B true CN117876241B (zh) | 2024-05-10 |
Family
ID=90595153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410275182.7A Active CN117876241B (zh) | 2024-03-12 | 2024-03-12 | 一种ct图像合成flair图像的方法、系统和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876241B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021248749A1 (zh) * | 2020-06-10 | 2021-12-16 | 四川大学华西医院 | 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法 |
| CN116433914A (zh) * | 2023-04-28 | 2023-07-14 | 齐鲁工业大学(山东省科学院) | 一种二维医学图像分割方法及系统 |
| CN117422788A (zh) * | 2023-12-19 | 2024-01-19 | 英瑞云医疗科技(烟台)有限公司 | 一种基于ct脑梗图像生成dwi图像的方法 |
| WO2024022485A1 (zh) * | 2022-07-29 | 2024-02-01 | 中国人民解放军总医院第一医学中心 | 基于多尺度判别的计算机血管造影成像合成方法 |
-
2024
- 2024-03-12 CN CN202410275182.7A patent/CN117876241B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021248749A1 (zh) * | 2020-06-10 | 2021-12-16 | 四川大学华西医院 | 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法 |
| WO2024022485A1 (zh) * | 2022-07-29 | 2024-02-01 | 中国人民解放军总医院第一医学中心 | 基于多尺度判别的计算机血管造影成像合成方法 |
| CN116433914A (zh) * | 2023-04-28 | 2023-07-14 | 齐鲁工业大学(山东省科学院) | 一种二维医学图像分割方法及系统 |
| CN117422788A (zh) * | 2023-12-19 | 2024-01-19 | 英瑞云医疗科技(烟台)有限公司 | 一种基于ct脑梗图像生成dwi图像的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于CT图像的超分辨率重构研究;曹洪玉;刘冬梅;付秀华;张静;岳鹏飞;;长春理工大学学报(自然科学版);20200215(01);全文 * |
| 基于显著度增强的MRI影像脑肿瘤全自动分割;马泽源;王瑜;;计算机应用与软件;20201012(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117876241A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210225027A1 (en) | Image region localization method, image region localization apparatus, and medical image processing device | |
| Du et al. | Super-resolution reconstruction of single anisotropic 3D MR images using residual convolutional neural network | |
| CN111932550B (zh) | 一种基于深度学习的3d心室核磁共振视频分割系统 | |
| CN111354002A (zh) | 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法 | |
| CN107492071A (zh) | 医学图像处理方法及设备 | |
| CN111368849B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109658354B (zh) | 一种图像增强方法和系统 | |
| CN111476793B (zh) | 动态增强磁共振成像处理方法、系统、存储介质、终端 | |
| CN111815766B (zh) | 基于2d-dsa图像重建血管三维模型处理方法及系统 | |
| CN113298710B (zh) | 基于外部注意力机制的光学相干层析超分辨率成像方法 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN113506308B (zh) | 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法 | |
| CN112288041B (zh) | 一种多模态深度神经网络的特征融合方法 | |
| CN112489154A (zh) | 基于局部优化生成对抗网络的mri运动伪影校正方法 | |
| CN115272250B (zh) | 确定病灶位置方法、装置、计算机设备和存储介质 | |
| Huang et al. | TransMRSR: transformer-based self-distilled generative prior for brain MRI super-resolution | |
| CN114241077A (zh) | 一种ct图像分辨率优化方法及装置 | |
| CN112819831A (zh) | 基于卷积Lstm及多模型融合的分割模型生成方法及装置 | |
| CN113313728B (zh) | 一种颅内动脉分割方法及系统 | |
| Wang et al. | 3D dense convolutional neural network for fast and accurate single MR image super-resolution | |
| Lu et al. | Two-stage self-supervised cycle-consistency transformer network for reducing slice gap in MR images | |
| Liu et al. | DL‐MRI: A Unified Framework of Deep Learning‐Based MRI Super Resolution | |
| WO2024021796A1 (zh) | 一种图像处理方法、装置、电子设备、存储介质及程序产品 | |
| CN117876241B (zh) | 一种ct图像合成flair图像的方法、系统和设备 | |
| Sun et al. | High‐Resolution Breast MRI Reconstruction Using a Deep Convolutional Generative Adversarial Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |