CN115239674B - 基于多尺度判别的计算机血管造影成像合成方法 - Google Patents

基于多尺度判别的计算机血管造影成像合成方法 Download PDF

Info

Publication number
CN115239674B
CN115239674B CN202210907807.8A CN202210907807A CN115239674B CN 115239674 B CN115239674 B CN 115239674B CN 202210907807 A CN202210907807 A CN 202210907807A CN 115239674 B CN115239674 B CN 115239674B
Authority
CN
China
Prior art keywords
image
normalized
cta
synthesized
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210907807.8A
Other languages
English (en)
Other versions
CN115239674A (zh
Inventor
娄昕
吕晋浩
杨明亮
段祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Medical Center of PLA General Hospital
Original Assignee
First Medical Center of PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Medical Center of PLA General Hospital filed Critical First Medical Center of PLA General Hospital
Priority to CN202210907807.8A priority Critical patent/CN115239674B/zh
Publication of CN115239674A publication Critical patent/CN115239674A/zh
Application granted granted Critical
Publication of CN115239674B publication Critical patent/CN115239674B/zh
Priority to PCT/CN2023/109829 priority patent/WO2024022485A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了基于多尺度判别的计算机血管造影成像合成方法，生成归一化训练集和归一化验证集；构建生成器和多尺度判别器；根据归一化训练集对生成器和多尺度判别器进行训练，将待处理的平扫CT图像进行归一化处理后输入到训练好的生成器G中，输出归一化合成CTA图像，再将归一化合成CTA图像恢复到原始像素范围，获得合成CTA图像。本发明使用多尺度判别器对生成器输出进行多尺度判别，使得合成的CTA图像更能凸显指定加窗操作参数和指定区域的目标图像，进而判别的准确性；获得的合成CTA图像同真实CTA图像具备相同的像素值取值范围，数据格式与现有设备完全兼容。

Description

基于多尺度判别的计算机血管造影成像合成方法
技术领域
本发明涉及人工智能技术领域，具体涉及基于多尺度判别的计算机血管造影成像合成方法。
背景技术
碘造影剂广泛应用于CT血管造影(CT angiography，CTA)中的组织对比度增强。然而，碘造影剂并不适用于碘剂过敏、肾功能不全以及多发性骨髓瘤等被测对象。理想情况下，注射入被测对象体内的造影剂会随着新陈代谢从体内排出，不会对被测对象产生不良影响。然而，因造影剂导致的事故时有发生，如支气管痉挛、过敏性休克，严重者甚至危及生命。因此，急需通过相关技术或手段来解决上述问题。
近年，随着深度学习的发展，出现了以Pix2pix网络[Isola P,et al.Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition.2017:1125-1134.]为代表的计算机视觉深度学习模型，较好实现了两种图像之间的转换。但该方法主要针对自然图像转换而设计，在医学图像转换任务上性能表现有限。为此，研究者们开发出了以MedGAN网络[Armanious K,et al.Computerized Medical Imaging and Graphics,2020,79:101684.]为代表的医学图像模态转换模型。在生成器方面，MedGAN使用CasNet代替Pix2pix中的U-Net网络，在判别器方面，MedGAN采用风格损失、内容损失、感知损失以及对抗损失进行联合优化，进一步提升生成图像的图像质量。上述方法在不同程度上推动了医学图像模态转换的研究，但由于没有考虑医学图像加窗和区域差异性，使得在此条件下训练所获得的合成模型无法凸显重要性区域。
发明内容
本发明的目的在于针对现有技术存在的上述问题，提出基于多尺度判别的计算机血管造影成像合成方法；
本发明的上述目的通过以下技术手段实现：
基于多尺度判别的计算机血管造影成像合成方法，包括以下步骤：
步骤1、采集平扫CT图像与真实CTA图像；
步骤2、对配准后的平扫CT图像和真实CTA图像进行归一化处理，获得的归一化平扫CT图像和配准的归一化真实CTA图像作为一个样本对，生成归一化训练集和归一化验证集，归一化训练集和归一化验证集均包括多个样本对；
步骤3、构建生成器和多尺度判别器；
步骤4、根据归一化训练集对生成器和多尺度判别器进行训练，
归一化平扫CT图像作为生成器G的输入，生成器G输出归一化合成CTA图像，对生成器G的模型参数进行优化，使得生成器损失函数值最小，
归一化合成CTA图像和对应的归一化真实CTA图像输入到多尺度判别器，对多尺度判别器的模型参数进行优化，使得多尺度判别器损失函数值最小；
步骤5、将待处理的平扫CT图像进行归一化处理后输入到训练好的生成器G中，输出归一化合成CTA图像，再将归一化合成CTA图像恢复到原始像素范围，获得合成CTA图像。
如上所述的步骤3中，多尺度判别器包括多个不同加窗操作对应的判别器组，同一加窗操作对应的判别器组包括两个子判别器，其中一个子判别器为全局判别器，另一个子判别器为局部判别器。
如上所述多尺度判别器中，
首先，归一化合成CTA图像和对应的归一化真实CTA图像通过加窗操作，获得归一化合成加窗CTA和归一化真实加窗CTA。
然后，将各个加窗操作的归一化合成加窗CTA和归一化真实加窗CTA输入到对应的判别器组。
在同一个判别器组中：
将未进行中心裁剪的归一化合成CTA加窗图像与未进行中心裁剪的归一化真实CTA加窗图像分别输入到全局判别器进行判别，全局判别器输出未进行中心裁剪的归一化合成CTA加窗图像与未进行中心裁剪的归一化真实CTA加窗图像对应的池化值，
将进行中心裁剪后的归一化合成CTA加窗图像与进行中心裁剪后的归一化真实CTA加窗图像分别输入到局部判别器进行判别，局部判别器输出进行中心裁剪后的归一化合成CTA加窗图像与进行中心裁剪后的归一化真实CTA加窗图像对应的池化值。
如上所述生成器依次包括输入层、编码器、残差模块、解码器以及输出层，编码器包括多层下采样卷积层，残差模块包括多个残差卷积层，解码器包括多层上采样卷积层，除输出层外，输入层、下采样卷积层、残差卷积层和上采样卷积层均使用了instancenormal2d归一化和ReLU功能激活函数，输出层将最终上采样结果进行2D卷积操作并通过tanh激活函数输出。
如上所述全局判别器和局部判别器均包括下采样卷积层和输出层，下采样卷积层使用了LeakyReLU功能激活函数和instancenormal2d归一化，输出层包括2维卷积层和池化层。
加窗操作包括以下步骤，
首先、将归一化平扫CT图像和配准的归一化真实CTA图像的像素取值范围还原到原始像素取值范围，获得还原平扫CT图像和还原真实CTA图像，
然后、按照加窗操作参数[窗位，窗宽]对还原平扫CT图像和还原真实CTA图像进行加窗操作后再进行归一化，获得归一化平扫CT加窗图像和归一化真实CTA加窗图像。
优选的，加窗操作中，其中一个加窗操作的[窗位，窗宽]为[(原始像素取值的最大值+原始像素取值的最小值+1)/2，(原始像素取值的最大值-原始像素取值的最小值+1)]。
生成器损失函数LG定义为：
Figure BDA0003773013460000021
Figure BDA0003773013460000031
Figure BDA0003773013460000032
其中，Di为第i个子判别器，G为生成器，Di()为第i个子判别器的输出，m为子判别器总数，n为加窗操作总数，j为加窗操作序号，ai为第i个子判别器对应的对抗损失函数
Figure BDA0003773013460000033
的加权系数，bj为第j个加窗操作下的目标损失函数/>
Figure BDA0003773013460000034
的加权系数，第i个子判别器为全局判别器时，A为未进行中心裁剪的归一化合成CTA加窗图像；第i个子判别器为局部判别器时，A为进行中心裁剪后的归一化合成CTA加窗图像；G(x)j为经第j个加窗操作获得的归一化合成CTA加窗图像，yj为经第j个加窗操作获得的归一化真实CTA加窗图像，E表示期望运算符，|| ||1为L1距离运算符。
多尺度判别器损失函数包括各个加窗操作对应的判别器组损失函数
Figure BDA0003773013460000035
Figure BDA0003773013460000036
其中，j为加窗操作序号，k为同一加窗操作对应的判别器组的子判别器序号，
Figure BDA0003773013460000037
为第j个加窗操作对应的判别组的第k个子判别器的输出，当k对应的子判别器为全局判别器时，B为未进行中心裁剪的归一化真实CTA加窗图像，C为未进行中心裁剪的归一化合成CTA加窗图像；当k对应的子判别器为局部判别器时，B为进行中心裁剪后的归一化真实CTA加窗图像，C为进行中心裁剪后的归一化合成CTA加窗图像。
本发明相对于现有技术，具有以下有益效果：
本发明使用多尺度判别器对生成器输出进行多尺度判别，使得合成的CTA图像更能凸显指定加窗操作参数和指定区域的目标图像，进而判别的准确性；
本发明获得的合成CTA图像同真实CTA图像具备相同的像素值取值范围，数据格式与现有设备完全兼容；
本发明利用CT合成与之对应的CTA，减少碘造影剂给药的必要性。
附图说明
图1为本发明的实施方法图；
图2为本发明的生成器G的网络架构示意图；
图3为本发明的判别器D网络架构示意图。
具体实施方式
本文中在申请说明书中所使用的术语只是为了描述具体的实施例的目的，而不是全部的实施方式。基于本发明中的实施方式，本领域相关人员在没有作出创造性劳动前提下所获得的所有其它实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明选定的实施方式。
本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的其它变形，意图在于覆盖此项，而非仅限于此项。
为了使本技术领域的人员更好地理解本发明方案，下面将结合实施方式中的附图，对本发明实施例中的技术方案进行详细、完整地描述。
实施例1
基于多尺度判别的计算机血管造影成像合成方法，包括以下步骤：
步骤1、数据采集：依据需求制定纳排规则，获得平扫CT图像与真实CTA图像，纳排规则具体包括：
纳入标准：(1)年龄为>18周岁；(2)CT数据包含有平扫CT图像及真实CTA图像；(3)平扫CT图像与真实CTA图像的层厚和层数一致，各个平扫CT图像与真实CTA图像的各个层面对应；(4)扫描部位为颈、胸以及腹部；(5)扫描机型为GE CT；(6)初试层厚为0.625mm；(7)造影剂为碘离子造影剂。
排除标准：(1)平扫CT图像或真实CTA图像存在严重伪影，包括手术金属植入物导致的硬化伪影，运动伪影；(2)平扫CT图像与真实CTA图像的层厚和层数不一致，各个平扫CT图像与真实CTA图像的各个层面不对应；(3)各种原因导致的扫描失败的真实CTA图像；(4)动脉进行过手术平扫CT图像或真实CTA图像，如动脉瘤术后等。
依据纳排规则，通过数据库系统对CT-CTA数据进行采集，具体操作包括：
依据纳排规则，通过数据库系统对CT-CTA数据依据纳入标准进行初步筛选，获得初步筛选后的平扫CT图像与真实CTA图像；
对从数据库系统初步筛选后的平扫CT图像与真实CTA图像进行人工检查，剔除掉排除标准的平扫CT图像与真实CTA图像；
步骤2、将步骤1获得平扫CT图像和真实CTA图像进行配准并归一化处理，具体为将步骤1中获得的平扫CT图像与真实CTA图像的原始像素取值范围[-1024 3071]归一化至[-11]。归一化处理后的平扫CT图像和对应的配准的归一化处理的真实CTA图像作为一个样本对，通过样本对构建归一化训练集和归一化验证集，数据预处理操作具体包括如下步骤：
数据配准，本实施例采用ANTs的SyN配准算法，将平扫CT图像作为固定空间，真实CTA图像作为待配空间，将平扫CT图像和真实CTA图像进行配准；
对配准处理后的数据进行质量检查，剔除其配准失败的平扫CT图像和真实CTA图像。
分别对所述经质量检查后的配准后的平扫CT图像和真实CTA图像进行归一化处理，归一化平扫CT图像和配准的归一化真实CTA图像作为一个样本对，获得归一化训练集和归一化验证集，归一化训练集和归一化验证集均包括多个样本对。
步骤3、构建基于多尺度判别的生成对抗网络的生成器和多尺度判别器
步骤3.1、构建生成器，本实施例的生成器的框架如图2所示，生成器依次包括输入层、编码器、残差模块、解码器以及输出层，生成器的基础网络为CNN。归一化平扫CT图像输入到生成器，生成器输出归一化合成CTA图像。
进一步的，编码器包括2层下采样卷积层，残差模块包括9个残差卷积层，解码器包括2层上采样卷积层。
编码器通道数1->64->128->256，残差模块通道数为256，解码器通道数为256->128->64->1。生成器输入层和输出层的卷积核为7×7，编码器、残差模块和解码器中的卷积层的卷积核均为3×3。除输出层外，输入层、下采样卷积层、残差卷积层和上采样卷积层均使用了instancenormal2d归一化和ReLU功能激活函数。输出层将最终上采样结果进行2D卷积操作，通过tanh激活函数输出归一化合成CTA图像。
输入层和输出层的维度均为批次数目×通道数×图像宽度×图像高度。其中本实施例批次数目为1，通道数为1，图像宽度为512，图像高度为512。
步骤3.2、构建多尺度判别器，本实施例的判别器模型的框架如图3所示，多尺度判别器包括多个不同加窗操作对应的判别器组(本实施例为2个不同加窗条件的判别器组)，同一加窗操纵对应的判别器组包括两个子判别器，其中一个子判别器为全局判别器，另一个子判别器为局部判别器。
进一步的，判别组中的全局判别器分别为对未进行中心裁剪的归一化合成CTA加窗图像与未进行中心裁剪的归一化真实CTA加窗图像进行判别，输出未进行中心裁剪的归一化合成CTA加窗图像与未进行中心裁剪的归一化真实CTA加窗图像对应的池化值；同一判别组中的局部判别器则分别对中心裁剪后的归一化合成CTA加窗图像和中心裁剪后的归一化真实CTA加窗图像进行判别，输出中心裁剪后的归一化合成CTA加窗图像和中心裁剪后的归一化真实CTA加窗图像对应的池化值；
全局判别器和局部判别器具有相同的网络结构，均包括4层下采样卷积层和输出层。每个下采样卷积层使用了LeakyReLU功能激活函数和instancenormal2d归一化，最终经过一个2维卷积层和池化层构成的输出层输出。全局判别器和局部判别器的下采样卷积层、输出层的2维卷积均使用4×4卷积核。全局判别器和局部判别器的2为卷积层分别输出62×62全局矩阵块和30×30局部矩阵块，分别经过torch库的avg_pool2d函数(池化层)平均池化后，获得对应的池化值。
对全局判别器和局部判别器的损失值进行计算。不同加窗操作下的判别器组依据全局判别器和局部判别器的加权损失值，分别对不同加窗条件的判别器组的模型参数进行迭代优化。
步骤4、根据归一化训练集对生成器和多尺度判别器进行训练，
将归一化平扫CT图像和配准的归一化真实CTA图像输入到构建好的基于多尺度判别的生成对抗网络的生成器G，其中归一化平扫CT图像作为生成器G的输入，生成器G输出归一化合成CTA图像，计算生成器损失函数LG，根据生成器损失函数值对生成器参数进行优化，使得生成器损失函数值LG最小。
归一化合成CTA图像和对应的归一化真实CTA图像输入到多尺度判别器，在多尺度判别器中：
首先，归一化合成CTA图像和对应的归一化真实CTA图像通过加窗操作，获得归一化合成CTA加窗图像和归一化真实CTA加窗图像。
然后，将各个加窗操作的归一化合成CTA加窗图像和归一化真实CTA加窗图像输入到对应的判别器组。
在判别器组中：
分别将未进行中心裁剪的归一化合成CTA加窗图像与归一化真实CTA加窗图像输入到判别器组的全局判别器进行判别，输出未进行中心裁剪的归一化合成CTA加窗图像与未进行中心裁剪的归一化真实CTA加窗图像对应的池化值；
分别将进行中心裁剪后的归一化合成CTA加窗图像与归一化真实CTA加窗图像输入到同一判别器组的局部判别器进行判别，输出进行中心裁剪后的归一化合成CTA加窗图像与进行中心裁剪后的归一化真实CTA加窗图像对应的池化值。
加窗操作包括以下步骤，
首先、将归一化平扫CT图像和配准的归一化真实CTA图像的像素取值范围还原到原始像素取值范围，获得还原平扫CT图像和还原真实CTA图像，
然后、按照加窗操作参数[窗位，窗宽]对还原平扫CT图像和还原真实CTA图像进行加窗操作后再进行归一化，获得归一化平扫CT加窗图像和归一化真实CTA加窗图像；
优选的，其中一个加窗操作的[窗位，窗宽]为[(原始像素取值的最大值+原始像素取值的最小值+1)/2，(原始像素取值的最大值-原始像素取值的最小值+1)]，即上述加窗操作提取的是整个原始像素取值范围，本实施例中为[1024，4096]，1024＝(-1024+3071+1)/2，4096＝3071-(-1024)+1，
本实施例中，另一个加窗操作的[窗位，窗宽]为[40 400]。
计算各个加窗操作对应的判别器组损失函数
Figure BDA0003773013460000068
(G,D)，各判别器组依据对应的判别器组损失函数值对判别器组参数进行优化更新。
将所述生成对抗网络的生成器与多尺度判别器进行协同优化，实现对全局网参数的优化更新。
生成器损失函数LG定义为:
Figure BDA0003773013460000061
其中，Di为第i个子判别器，G为生成器，子判别器个数m为4，加窗操作总数n为2，j为加窗操作序号。ai为第i个子判别器对应的对抗损失函数
Figure BDA0003773013460000062
的加权系数，取值分别为0.9，0.1，0.09，0.01。bj为第j个加窗操作下的目标损失函数/>
Figure BDA0003773013460000063
的加权系数，取值分别为20，5。
式(1)所述的对抗损失函数
Figure BDA0003773013460000064
与目标损失函数/>
Figure BDA0003773013460000065
具体为：
Figure BDA0003773013460000066
Figure BDA0003773013460000067
Di()为第i个子判别器的输出，
第i个子判别器为全局判别器时，A为未进行中心裁剪的归一化合成CTA加窗图像；第i个子判别器为局部判别器时，A为进行中心裁剪后的归一化合成CTA加窗图像；
G(x)j为经第j个加窗操作获得的归一化合成CTA加窗图像，yj为经第j个加窗操作获得的归一化真实CTA加窗图像。
E表示期望运算符，|| ||1为L1距离运算符。
第j个加窗操作对应的判别器组损失函数
Figure BDA0003773013460000071
为：
Figure BDA0003773013460000072
其中j的取值为1、2，即表示两种不同的加窗操作的序号。同一加窗操作的子判别器包括全局判别器和局部判别器，k为同一加窗操作的子判别器序号，对应下标k取值分别为1、2，K为2，定义k取值为1时对应的是全局判别器，k取值为2时对应的是局部判别器。
Figure BDA0003773013460000073
为第j个加窗操作对应的判别组的第k个子判别器的输出，当k取值为1时，B为未进行中心裁剪的归一化真实CTA加窗图像，C为未进行中心裁剪的归一化合成CTA加窗图像，当k取值为2时，B为进行中心裁剪后的归一化真实CTA加窗图像，C为进行中心裁剪后的归一化合成CTA加窗图像，两种加窗操作下的判别器组分别依据各自判别器组损失函数值对判别器组参数进行优化更新。
步骤5、将待处理的平扫CT图像进行归一化处理后输入到训练好的生成器G中，输出归一化合成CTA图像，再将归一化合成CTA图像恢复到原始像素范围，获得合成CTA图像。
本实施例实验平台为NVIDIA GeForce RTX3090Ti GPU及64GB内存的Linux系统服务器，Python版本为3.8。
所述生成器和判别器的模型构建选用pytorch作为深度学习框架，模型训练采用生成器与判别器单次交叉循环迭代迭代优化，即生成器优化时，判别器模型参数固定不变，判别器优化时，生成器模型参数固定不变。循环迭代次数epoch＝60，生成器和判别器初始学习率为均为0.0001,没有衰减策略。
训练过程中保存每轮迭代训练所获得的中间生成器G，用验证集对所有中间生成器G进行性能指标测试。
对比所有中间生成器G的测试性能指标，选取测试性能指标最优的中间生成器G作为最终生成器G。
所述性能测试指标包括平均绝对误差(MAE)、峰值信噪比(PSNR)以及结构相似度(SSIM)。
使用过程中，加载已训的生成器，将归一化CT图像作为已训的生成器的输入，输出即为归一化合成CTA图像。
依据数据预处理规则，将所述归一化[-1 1]合成CTA图像反向归一化重构至原始像素取值范围[-1024 3071]，获得合成CTA图像。
将所述重构到原始像素取值范围的合成CTA图像转为二进制格式并赋值于DICOM头文件中的PixelData，其它DICOM头文件与CT图像数据的头文件保持一致，获得合成CTA图像数据。
本实施例选用的扫描部位为颈部、胸部以及腹部数据，实际应用中可根据需求，针对不同部位训练不同生成器，以此提高CTA合成精度。
本发明是将CT与CTA通过构建好的生成对抗网络模型建立映射关系，使用阶段只需加载已训保存的生成器。本发明只叙述利用生成对抗网络生成器构建CT与CTA的映射关系，多尺度判别器对不同加窗操作下的的不同视野的生成CTA进行判别，其它更优或相似生成器替换生成对抗网络生成器即可。
实施例2：
上述步骤1-5均由一种基于多尺度判别的计算机血管造影成像合成装置的模块1-模块5实现。
本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下可以将本发明应用于其它相关领域。
需要指出的是，本发明中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例作各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。

Claims (1)

1.基于多尺度判别的计算机血管造影成像合成方法，其特征在于，包括以下步骤：
步骤1、采集平扫CT图像与真实CTA图像；
步骤2、对配准后的平扫CT图像和真实CTA图像进行归一化处理，获得的归一化平扫CT图像和配准的归一化真实CTA图像作为一个样本对，生成归一化训练集和归一化验证集，归一化训练集和归一化验证集均包括多个样本对；
步骤3、构建生成器和多尺度判别器；
步骤4、根据归一化训练集对生成器和多尺度判别器进行训练，
归一化平扫CT图像作为生成器G的输入，生成器G输出归一化合成CTA图像，对生成器G的模型参数进行优化，使得生成器损失函数值最小，
归一化合成CTA图像和对应的归一化真实CTA图像输入到多尺度判别器，对多尺度判别器的模型参数进行优化，使得多尺度判别器损失函数值最小；
步骤5、将待处理的平扫CT图像进行归一化处理后输入到训练好的生成器G中，输出归一化合成CTA图像，再将归一化合成CTA图像恢复到原始像素范围，获得合成CTA图像，
所述的步骤3中，多尺度判别器包括多个不同加窗操作对应的判别器组，同一加窗操作对应的判别器组包括两个子判别器，其中一个子判别器为全局判别器，另一个子判别器为局部判别器，
所述多尺度判别器中，
首先，归一化合成CTA图像和对应的归一化真实CTA图像通过加窗操作，获得归一化合成加窗CTA和归一化真实加窗CTA；
然后，将各个加窗操作的归一化合成加窗CTA和归一化真实加窗CTA输入到对应的判别器组，
在同一个判别器组中：
将未进行中心裁剪的归一化合成CTA加窗图像与未进行中心裁剪的归一化真实CTA加窗图像分别输入到全局判别器进行判别，全局判别器输出未进行中心裁剪的归一化合成CTA加窗图像与未进行中心裁剪的归一化真实CTA加窗图像对应的池化值，
将进行中心裁剪后的归一化合成CTA加窗图像与进行中心裁剪后的归一化真实CTA加窗图像分别输入到局部判别器进行判别，局部判别器输出进行中心裁剪后的归一化合成CTA加窗图像与进行中心裁剪后的归一化真实CTA加窗图像对应的池化值，
所述生成器依次包括输入层、编码器、残差模块、解码器以及输出层，编码器包括多层下采样卷积层，残差模块包括多个残差卷积层，解码器包括多层上采样卷积层，除输出层外，输入层、下采样卷积层、残差卷积层和上采样卷积层均使用了instancenormal2d归一化和ReLU功能激活函数，输出层将最终上采样结果进行2D卷积操作并通过tanh激活函数输出，
所述全局判别器和局部判别器均包括下采样卷积层和输出层，下采样卷积层使用了LeakyReLU功能激活函数和instancenormal2d归一化，输出层包括2维卷积层和池化层，
加窗操作包括以下步骤，
首先、将归一化平扫CT图像和配准的归一化真实CTA图像的像素取值范围还原到原始像素取值范围，获得还原平扫CT图像和还原真实CTA图像，
然后、按照加窗操作参数[窗位，窗宽]对还原平扫CT图像和还原真实CTA图像进行加窗操作后再进行归一化，获得归一化平扫CT加窗图像和归一化真实CTA加窗图像，
加窗操作中，其中一个加窗操作的[窗位，窗宽]为[(原始像素取值的最大值+原始像素取值的最小值+1)/2，(原始像素取值的最大值-原始像素取值的最小值+1)]，
生成器损失函数LG定义为：
Figure QLYQS_1
Figure QLYQS_2
Figure QLYQS_3
其中，Di为第i个子判别器，G为生成器，Di()为第i个子判别器的输出，m为子判别器总数，n为加窗操作总数，j为加窗操作序号，ai为第i个子判别器对应的对抗损失函数
Figure QLYQS_4
的加权系数，bj为第j个加窗操作下的目标损失函数/>
Figure QLYQS_5
的加权系数，第i个子判别器为全局判别器时，A为未进行中心裁剪的归一化合成CTA加窗图像；第i个子判别器为局部判别器时，A为进行中心裁剪后的归一化合成CTA加窗图像；G(x)j为经第j个加窗操作获得的归一化合成CTA加窗图像，yj为经第j个加窗操作获得的归一化真实CTA加窗图像，E表示期望运算符，1为L1距离运算符，
多尺度判别器损失函数包括各个加窗操作对应的判别器组损失函数
Figure QLYQS_6
Figure QLYQS_7
其中，j为加窗操作序号，k为同一加窗操作对应的判别器组的子判别器序号，
Figure QLYQS_8
为第j个加窗操作对应的判别组的第k个子判别器的输出，当k对应的子判别器为全局判别器时，B为未进行中心裁剪的归一化真实CTA加窗图像，C为未进行中心裁剪的归一化合成CTA加窗图像；当k对应的子判别器为局部判别器时，B为进行中心裁剪后的归一化真实CTA加窗图像，C为进行中心裁剪后的归一化合成CTA加窗图像。
CN202210907807.8A 2022-07-29 2022-07-29 基于多尺度判别的计算机血管造影成像合成方法 Active CN115239674B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210907807.8A CN115239674B (zh) 2022-07-29 2022-07-29 基于多尺度判别的计算机血管造影成像合成方法
PCT/CN2023/109829 WO2024022485A1 (zh) 2022-07-29 2023-07-28 基于多尺度判别的计算机血管造影成像合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210907807.8A CN115239674B (zh) 2022-07-29 2022-07-29 基于多尺度判别的计算机血管造影成像合成方法

Publications (2)

Publication Number Publication Date
CN115239674A CN115239674A (zh) 2022-10-25
CN115239674B true CN115239674B (zh) 2023-06-23

Family

ID=83676625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210907807.8A Active CN115239674B (zh) 2022-07-29 2022-07-29 基于多尺度判别的计算机血管造影成像合成方法

Country Status (2)

Country Link
CN (1) CN115239674B (zh)
WO (1) WO2024022485A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239674B (zh) * 2022-07-29 2023-06-23 中国人民解放军总医院第一医学中心 基于多尺度判别的计算机血管造影成像合成方法
CN117876241B (zh) * 2024-03-12 2024-05-10 英瑞云医疗科技(烟台)有限公司 一种ct图像合成flair图像的方法、系统和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11153566B1 (en) * 2020-05-23 2021-10-19 Tsinghua University Variable bit rate generative compression method based on adversarial learning
CN113689517A (zh) * 2021-09-08 2021-11-23 云南大学 一种多尺度通道注意力网络的图像纹理合成方法及系统
EP3965051A1 (en) * 2020-09-03 2022-03-09 Koninklijke Philips N.V. Deep unsupervised image quality enhancement

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200372301A1 (en) * 2019-05-21 2020-11-26 Retrace Labs Adversarial Defense Platform For Automated Dental Image Classification
US11398013B2 (en) * 2019-10-18 2022-07-26 Retrace Labs Generative adversarial network for dental image super-resolution, image sharpening, and denoising
CN112101523A (zh) * 2020-08-24 2020-12-18 复旦大学附属华山医院 基于深度学习的cbct图像跨模态预测cta图像的卒中风险筛查方法和系统
CN112541864A (zh) * 2020-09-25 2021-03-23 中国石油大学(华东) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN112365433B (zh) * 2020-10-30 2024-01-30 沈阳东软智能医疗科技研究院有限公司 Ct图像处理方法、装置、存储介质及电子设备
CN112365507B (zh) * 2020-10-30 2024-02-02 沈阳东软智能医疗科技研究院有限公司 Ct图像处理方法、装置、存储介质及电子设备
US11837354B2 (en) * 2020-12-30 2023-12-05 London Health Sciences Centre Research Inc. Contrast-agent-free medical diagnostic imaging
CN113012170B (zh) * 2021-03-25 2022-02-15 推想医疗科技股份有限公司 一种食管肿瘤区域分割及模型训练方法、装置及电子设备
CN114240753A (zh) * 2021-12-17 2022-03-25 平安医疗健康管理股份有限公司 跨模态医学图像合成方法、系统、终端及存储介质
CN115239674B (zh) * 2022-07-29 2023-06-23 中国人民解放军总医院第一医学中心 基于多尺度判别的计算机血管造影成像合成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11153566B1 (en) * 2020-05-23 2021-10-19 Tsinghua University Variable bit rate generative compression method based on adversarial learning
EP3965051A1 (en) * 2020-09-03 2022-03-09 Koninklijke Philips N.V. Deep unsupervised image quality enhancement
CN113689517A (zh) * 2021-09-08 2021-11-23 云南大学 一种多尺度通道注意力网络的图像纹理合成方法及系统

Also Published As

Publication number Publication date
WO2024022485A1 (zh) 2024-02-01
CN115239674A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN115239674B (zh) 基于多尺度判别的计算机血管造影成像合成方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN115512182B (zh) 一种基于聚焦学习的ct血管造影智能成像方法
CN112529909A (zh) 一种基于图像补全的肿瘤图像脑区分割方法及系统
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN112036506A (zh) 图像识别方法及相关装置、设备
CN110853048A (zh) 基于粗、精训练的mri图像分割方法、装置和存储介质
CN116612174A (zh) 软组织的三维重建方法、系统及计算机存储介质
CN116309524A (zh) 基于深度学习的心脏磁共振电影成像伪影抑制方法和系统
CN115147404A (zh) 一种双重特征融合mra图像的颅内动脉瘤分割方法
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN114913262B (zh) 采样模式与重建算法联合优化的核磁共振成像方法及系统
CN114494014A (zh) 一种磁共振图像超分辨率重建方法及装置
Li et al. HRINet: alternative supervision network for high-resolution CT image interpolation
CN115239740A (zh) 基于GT-UNet的全心分割算法
CN114862982A (zh) 一种基于生成对抗网络的混合域无监督有限角ct重建方法
CN114049334A (zh) 一种以ct图像为输入的超分辨率mr成像方法
CN114757825A (zh) 基于特征分离的红外图像超分辨率重建方法及装置
CN113327221A (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
CN115578285B (zh) 一种乳腺钼靶图像细节增强方法及系统
CN117036162B (zh) 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN114187181B (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant