CN115512182B - 一种基于聚焦学习的ct血管造影智能成像方法 - Google Patents

一种基于聚焦学习的ct血管造影智能成像方法 Download PDF

Info

Publication number
CN115512182B
CN115512182B CN202211178939.8A CN202211178939A CN115512182B CN 115512182 B CN115512182 B CN 115512182B CN 202211178939 A CN202211178939 A CN 202211178939A CN 115512182 B CN115512182 B CN 115512182B
Authority
CN
China
Prior art keywords
normalized
generator
image
cta
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211178939.8A
Other languages
English (en)
Other versions
CN115512182A (zh
Inventor
娄昕
杨明亮
吕晋浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Medical Center of PLA General Hospital
Original Assignee
First Medical Center of PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Medical Center of PLA General Hospital filed Critical First Medical Center of PLA General Hospital
Priority to CN202211178939.8A priority Critical patent/CN115512182B/zh
Publication of CN115512182A publication Critical patent/CN115512182A/zh
Application granted granted Critical
Publication of CN115512182B publication Critical patent/CN115512182B/zh
Priority to PCT/CN2023/109843 priority patent/WO2024066711A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于聚焦学习的CT血管造影智能成像方法，采集NCCT图像和对应的真实CTA图像并归一化处理，归一化后的NCCT图像和对应的真实CTA图像作为样本对，将样本划分为训练集、验证集和测试集；构建对抗网络模型，包括生成器、矫正器及判别器；构建生成器与矫正器的联合聚焦学习损失函数，构建判别器损失函数；利用训练集对构建好的对抗网络模型进行训练，利用验证集对训练后的对抗网络模型进行验证；利用测试集获得最佳测试性能的生成器。本发明构建了联合聚焦学习损失函数，使得所述生成器合成CTA图像能够更好的凸显目标区域，例如血管组织；本发明引入了矫正器，使得NCCT图像与CTA图像之间更好的配准对齐。

Description

一种基于聚焦学习的CT血管造影智能成像方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于聚焦学习的CT血管造影智能成像方法。
背景技术
CT血管造影(CT angiography，CTA)由于使用流程中需要造影剂，使得往返的CT扫描占用大量时间并增加相关费用，因此，需通过相关技术或手段来解决上述问题，考虑通过人工智能技术，通过构建聚焦学习的对抗网络模型，实现平扫CT(NCCT)到CTA的图像转换，进而减少CTA检查流程，提供更快更经济的成像选择。
近年，随着人工智能技术的发展，出现了以Pix2pix网络[Isola P,etal.Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2017:1125-1134.]为代表的图像转换模型，较好实现了成对图像之间的模态转换。针对实际难以获得大量高质量成对的医学图像问题，研究者们尝试将cycleGAN模型[Zhu J Y,Proceedings of the IEEE international conference on computervision.2017:2223-2232.]应用于非配对医学图像模态转换中，但所取得效果有限。针对医学图像难以获得严格配对数据，非配对数据无监督学习效果有限的痛点，近来开发出了以RegGAN[Kong L,et al..Advances in Neural Information Processing Systems,2021,34:1964-1978.]为代表医学图像模态转换模型。由于当前相关模型没有考虑不同组织区域重要性差异，使得在此条件下训练获得的模型无法凸显重要区域的图像数据。
发明内容
为解决上述技术问题，本发明提供了一种基于聚焦学习的CT血管造影智能成像方法，采用了如下所述技术方案：
一种基于聚焦学习的CT血管造影智能成像方法，其特征在于，包括以下步骤：
步骤1、采集NCCT图像和对应的真实CTA图像并归一化处理，归一化后的NCCT图像和对应的归一化真实CTA图像作为样本对，将样本对划分为训练集、验证集和测试集；
步骤2、构建对抗网络模型，对抗网络模型包括生成器、矫正器以及判别器；
步骤3、构建生成器与矫正器的联合聚焦学习损失函数，构建判别器损失函数；
步骤4、利用训练集对对抗网络模型进行训练，利用验证集对训练后的对抗网络模型进行验证；
步骤5、将测试集中的样本对输入到生成器，生成对应的归一化合成CTA图像，将获得的归一化合成CTA图像进行测试评估，获得最佳测试性能的生成器；
步骤6、加载步骤5获得的生成器，将待处理的归一化NCCT图像作为生成器输入，输出归一化合成CTA图像。
如上所述生成器包括输入层、编码器、中心残差模块、解码器以及输出层，在生成器中：
归一化NCCT图像输入到输入层，
编码器包括多层下采样卷积层，
中心残差模块包括多个残差块，
解码器包括多层上采样卷积层，
除输出层以外，输入层、下采样卷积层、残差块和上采样卷积层均使用了归一化和功能激活函数，输出层将上采样卷积层的输出进行2D卷积操作并经过激活函数输出归一化合成CTA图像。
如上所述矫正器包括编码器、中心残差模块、解码器及输出端，输出端包括提炼模块和输出层，在矫正器中：
生成器输出的归一化合成CTA图像和归一化真实CTA图像输入到编码器，
编码器包括多层下采样卷积层，
中心残差模块包括多个残差块，
解码器包括多层上采样卷积层，
提炼模块包括残差块和卷积层
编码器的下采样卷积层和对应的解码器的上采样卷积层之间通过跳转连接线进行连接，
除输出端的提炼模块和输出层，编码器的下采样卷积层、中心残差模块的残差块和解码器的上采样卷积层均使用了归一化和功能激活函数，输出层输出矫正空间矩阵。
如上所述判别器包括多层下采样卷积层和一个2维卷积输出层，判别器的输入为归一化真实CTA图像或合成的归一化CTA图像，判别器输出单通道图像矩阵块，单通道图像矩阵块经平均池化后，获得对应的池化值。
如上所述步骤3中的生成器与矫正器的联合聚焦学习损失函数LGR定义为：
Figure BDA0003865171640000021
LGAN(G，D)＝Ex[(1-D(G(x)))2]
Figure BDA0003865171640000025
Figure BDA0003865171640000022
LGAN(G，D)为对抗损失函数，D为判别器，G为生成器，m为聚焦尺度数，bi为第i个
Figure BDA0003865171640000023
的加权系数，/>
Figure BDA0003865171640000024
为矫正损失函数，γ为LSmoot h的加权系数，LSmoot h为平滑损失函数；E(.)为期望运算符，下标为输入变量，x为生成器G输入的归一化的NCCT图像，y为归一化真实CTA图像，°对应于重采样操作，R为矫正器，/>
Figure BDA0003865171640000031
为梯度运算符为，||.|||1为L1距离运算符。
如上所述步骤3中判别器损失函数LAdv(G，D)定义为：
minLAdv(G，D)＝Ey[(1-D(y))2]+Ex[D(G(x))2]。
如上所述步骤4中的对抗网络模型进行训练具体包括以下步骤：
首先，判别器参数固定不变，计算最小化的联合聚焦学习损失函数LGR的值，进而实现对生成器和矫正器的参数更新；
其次，生成器与矫正器参数保持固定不变，计算最小化的判别器损失函数LAdv(G，D)的值，进而对判别器参数进行优化更新。
如上所述步骤5中的测试性能包括归一化合成CTA图像的平均绝对误差(MAE)和峰值信噪比(PSNR)，还包括归一化合成CTA图像与归一化真实CTA图像的结构相似度(SSIM)。
本发明相对于现有技术，具有以下有益效果：
1、本发明提供了基于聚焦学习的CT血管造影智能成像方法，减少造影剂使用的必要性；
2、本发明构建了生成器与矫正器的联合聚焦学习损失函数，使得所述生成器合成CTA图像能够更好的凸显血管组织；
3、本发明引入了矫正器，使得NCCT图像与CTA图像之间更好的配准对齐，从而更好的建立NCCT图像与CTA图像之间的映射关系，合成CTA图像质量更好；
4、本发明具有较好的鲁棒性和扩展性，易于模块化集成和分布式使用。
附图说明
图1为本发明的对抗网络模型的网络架构示意图；
图2为本发明的生成器G的网络架构示意图；
图3为本发明的矫正器R的网络架构示意图；
图4为本发明的判别器D的网络架构示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合实例对本发明作进一步的详细描述，此处所描述的实施示例仅用于说明和解释本发明，并非是对本发明的限制。
实施例1
如图1所示，一种基于聚焦学习的CT血管造影智能成像方法，包括以下步骤：
步骤1、采集NCCT图像和对应的真实CTA图像并依次进行质量检查、归一化处理，归一化后的NCCT图像和对应的归一化真实CTA图像作为样本对，将样本对划分为训练集、验证集和测试集：
质量检查准则按照以下纳排规则中的一种或者多种：(1)NCCT图像与对应的真实CTA图像的扫描间隔时间不超过1个月；(2)NCCT图像与对应的真实CTA图像的层厚和层数一致，且层面对应；(3)NCCT图像和对应的真实CTA图像是否规则存放；(4)NCCT图像或真实CTA图像不存在严重伪影；(5)NCCT图像或真实CTA图像扫描正常，成像充盈；(6)动脉未进行过手术，如动脉瘤术等；
将NCCT图像和对应真实CTA图像的原始灰阶空间由[-1024 3071]归一化至[-11]，以加速模型训练收敛；
将归一化后的NCCT图像和对应的真实CTA图像作为样本对，将各个样本对按照6:1:3比例，随机划分为训练集、验证集和测试集以供模型的训练、验证和测试。
步骤2、基于非线性组合理论构建对抗网络模型：利用卷积网络分别构建生成器、矫正器、判别器：
步骤2.1构建生成器，本实施例所述的生成器模型框架如图2所示，生成器结构依次包括输入层、编码器、中心残差模块、解码器以及输出层。进一步的，编码器包括2层下采样卷积层，中心残差模块包括9个残差块，解码器包括2层上采样卷积层。
输入层通道数变化为1->64，编码器的2层下采样卷积层通道数变化依次为64->128和128->256，中心残差模块中各个残差块的通道数均为256，解码器的2层上采样卷积层的通道数变化依次为256->128和128->64，输出层通道数变化为64->1。生成器的输入层和输出层的卷积核为7×7，卷积步长为1，卷积补零数为3。编码器与解码器的卷积核均为3×3，卷积步长为2，卷积补零数为1。中心残差模块各残差块的卷积核均为3×3，卷积步长和卷积补零数均为1。除输出层，输入层、下采样卷积层、残差块和上采样卷积层都使用了instancenormal2d归一化和ReLU功能激活函数，最终输出层将上采样卷积层的输出进行2D卷积操作并经过tanh激活函数输出归一化合成CTA图像。
输入层和输出层的维度均为样本批次数目×图像通道数×图像宽度×图像高度。其中本实施例一次训练的样本批次数目为1，输入至输入层的图像通道数与输出层输出的图像通道数均为1，图像宽度为512，图像高度为512；输入层的输入为归一化NCCT图像，输出层的输出为归一化合成CTA图像。
编码器实现将输入的归一化NCCT图像编码为深层特征，中心残差模块将编码的深层特征进行多次卷积操作后获得更具目标图像的深层特征，解码器则将中心残差模块输出的特征解码为目标图像。
步骤2.2构建矫正器，本实施例所述的矫正器模型框架如图3所示，矫正器主干网络包括编码器、中心残差模块、解码器及输出端，输出端包括一个提炼模块和输出层。矫正器的输入为生成器输出的归一化合成CTA图像和归一化真实CTA图像，其输出为归一化合成CTA图像与归一化真实CTA图像之间的矫正空间矩阵。
编码器包括多层下采样卷积层，解码器包括多层上采样卷积层，下采样卷积层的层数与上采样卷积层的层数相同，编码器的下采样卷积层和对应的解码器的上采样卷积层之间通过跳转连接线进行连接。本实施例中编码器包括7个下采样卷积层，中心残差模块包括3个残差块，解码器包括7个上采样卷积层，提炼模块包括1个残差块和一个卷积层。中心残差模块前后分别带有一个卷积核为1×1，卷积步长为1，无卷积补零数的卷积层。下采样卷积层、中心残差模块的残差块、上采样卷积层以及提炼模块的残差块的卷积核均为3×3，卷积步长均为1，卷积补零数均为1，激活函数均为LeakyReLU。提炼模块中卷积层的卷积核为1×1，步长为1，卷积补零数为0。输出层的卷积核为3×3，卷积步长为1，补零数为1，无激活函数。
如图3所示，由于编码器的下采样卷积层和对应的解码器的上采样卷积层之间跳转连接，解码器的各个上采样卷积层的输入来源包括两方面：上一级的输出和当前级上采样卷积层对应的编码器的下采样卷积层的输出，故解码器的上采样卷积层的输入通道数为c1+c2形式：c1表示上一级的输出通道数，如第1级解码器的上采样卷积层对应的c1值为中心残差模块后卷积层输出的通道数，第2级解码器的上采样卷积层对应的c1值为第1级解码器的上采样卷积层的输出通道数，以此类推；c2为当前级解码器的上采样卷积层对应的编码器的下采样卷积层的输出通道数；解码器的上采样卷积层输出的通道数与当前级上采样卷积层对应的编码器下采样卷积层的输出通道数相同。
本实施例中具体为，编码器的7个下采样卷积层通道数变化依次为2->32、32->64、64->64、64->64、64->64、64->64、64->64，编码器的输入为生成器输出的归一化合成CTA图像和归一化真实CTA图像，故第一级下采样卷积层输入的通道数为2，中心残差模块前卷积层通道数变化为64->128，中心残差模块中各个残差块的通道数为128，中心残差模块后卷积层的通道数变化为128->64，解码器的7个上采样卷积层通道数变化依次为64+64->64、64+64->64、64+64->64、64+64->64、64+64->64、64+64->64、64+32->32。提炼模块的通道数为32。输出层的通道数变化为32->2。除输出端的提炼模块和输出层，编码器的下采样卷积层、中心残差模块的残差块和解码器的上采样卷积层均使用了instancenormal2d归一化和LeakyReLU功能激活函数，最终由输出层输出矫正空间矩阵。
本实施例输出的矫正空间矩阵的维度为[样本批次数目，输出层的通道数，图像宽度，图像高度]，本实施例中为[1,2,512,512]。
步骤2.3判别器的构建，用于判别给定图像是否为归一化真实CTA图像。
本实施例的判别器模型框架如图4所示，判别器包括4层下采样卷积层和一个2维卷积输出层。每个下采样卷积层使用了LeakyReLU功能激活函数和instancenormal2d归一化，判别器所有卷积操作均使用4×4卷积核。前三层下采样卷积步长为2，补零数为1，第4层下采样和输出卷积层的卷积步长为1，补零数为1。判别器的输入为归一化真实CTA图像或归一化合成CTA图像，通过判别器的多层卷积操作之后，输出获得62×62的单通道图像矩阵块。其单通道图像的矩阵块经过torch的avg_pool2d函数(池化层)平均池化后，获得对应的池化值。
步骤3、针对构建的对抗网络模型设计：生成器与矫正器的联合聚焦学习损失函数、判别器损失函数。通过对矫正损失的聚焦设计，使得生成器与矫正器的联合学习聚焦于目标区域。
生成器与矫正器的联合聚焦学习损失函数LaR定义为：
Figure BDA0003865171640000061
LGAN(G，D)＝Ex[(1-D(G(x)))2]
Figure BDA0003865171640000066
Figure BDA0003865171640000062
其中：
LGAN(G，D)为对抗损失函数；D为判别器；G为生成器；m为聚焦尺度数，本实施例中m＝2；bi为第i个
Figure BDA0003865171640000063
的加权系数，本实施例中b1＝20，b2＝2，/>
Figure BDA0003865171640000064
为矫正损失函数，不同i值对应不同的聚焦区域，本实施例中i取值为1、2，i＝1时计算y和G(x)°R(G(x)，y)的全图像损失，i＝2时计算y和G(x)°R(G(x)，y)的区域滤波图像损失，将真实CTA图像的DICOM文件的默认窗中的归一化图像HU值大于0.65阈值的区域定义为滤波区域，即区域滤波图像；γ为LSmoot h的加权系数，本实施例中γ取值为10，LSmoot h为平滑损失函数；E(.)为期望运算符，下标为输入变量；x为生成器G输入的归一化NCCT图像，G(x)为生成器的输出，即归一化合成CTA图像；y为归一化真实CTA图像；°对应于torch库中的grid_sample()重采样操作；R为矫正器，R(G(x)，y))为矫正器训练输出的矫正空间矩阵，用于对生成器的输出G(x)进行矫正，获得矫正后的归一化合成CTA图像G(x)°R(G(x)，y)；/>
Figure BDA0003865171640000065
为梯度运算符，||.|||1为L1距离运算符。
判别器损失函数LAdv(G，D)定义为：
minLAdv(G，D)＝Ey[(1-D(y))2]+Ex[D(G(x))2]。
其符号含义同生成器及矫正器中的损失函数符号含义。
步骤4、利用训练集对构建好的对抗网络模型进行训练，利用验证集对中间训练模型进行验证，具体步骤为：
首先，判别器参数固定不变，依据归一化合成CTA图像、矫正后的归一化合成CTA图像以及归一化真实CTA图像计算最小化的联合聚焦学习损失函数LGR的值，进而实现对生成器和矫正器参数更新。
其次，生成器与矫正器的参数保持固定不变，将归一化合成CTA图像和归一化真实CTA图像分别送入已构建好的判别器计算得到最小化的判别器损失函数LAdv(G，D)的值，利用计算所获得的损失值对判别器参数进行优化更新。
最后，利用验证集数据对训练更新后的中间模型进行验证测试，评估其模型迭代更新的正确性和有效性。
本实例实验平台为NVIDIA GeForce RTX3090Ti GPU及64GB内存的Linux系统服务器，Python版本为3.8。
所述模型构建选用pytorch作为深度学习框架，优化器为Adam，生成器、矫正器以及判别器的初始学习率均为0.0001，没有衰减策略，模型迭代次数epoch＝80。
步骤5、模型测试
使用测试集对步骤4得到的的对抗网络模型的生成器进行测试评估：将归一化NCCT图像输入步骤4得到的对抗网络模型的生成器，获得归一化合成CTA图像，同归一化真实CTA图像进行测试评估，将获得最佳测试性能的模型定为最终的使用模型。
所述性能测试指标包括归一化合成CTA图像的平均绝对误差(MAE)和峰值信噪比(PSNR)，还包括归一化合成CTA图像与归一化真实CTA图像的结构相似度(SSIM)。
步骤6、模型使用
加载步骤5得到的生成器，将待处理的归一化NCCT图像作为生成器的输入，输出即为归一化合成CTA图像。
将所述生成器输出的归一化[-1 1]合成CTA图像依据归一化反操作重构至原始灰阶空间[-1024 3071]，获得原始灰阶下的合成图像。
将原始灰阶空间下的合成图像转为二进制格式并赋值DICOM头文件中的PixelData，其它DICOM头文件信息与NCCT图像的头文件保持一致，自此获得合成CTA图像。
一种基于聚焦学习的CT血管造影智能成像装置，包括第一模块、第二模块、第三模块、第四模块、第五模块和第六模块，上述步骤1至步骤6分别由第一至第六模块实现。
本发明并不限于上述实施方式，上述实施例仅是对本发明的优选实施例进行描述，并非对本发明的构思进行限定，上述实施例中的实施方案可以进一步组合或者替换，本领域技术人员对本发明的技术方案作出的各种变化和改进，均属于本发明的保护范围。

Claims (6)

1.一种基于聚焦学习的CT血管造影智能成像方法，其特征在于，包括以下步骤：
步骤1、采集NCCT图像和对应的真实CTA图像并归一化处理，归一化后的NCCT图像和对应的归一化真实CTA图像作为样本对，将样本对划分为训练集、验证集和测试集；
步骤2、构建对抗网络模型，对抗网络模型包括生成器、矫正器以及判别器；
步骤3、构建生成器与矫正器的联合聚焦学习损失函数，构建判别器损失函数；
步骤4、利用训练集对对抗网络模型进行训练，利用验证集对训练后的对抗网络模型进行验证；
步骤5、将测试集中的样本对输入到生成器，生成对应的归一化合成CTA图像，将获得的归一化合成CTA图像进行测试评估，获得最佳测试性能的生成器；
步骤6、加载步骤5获得的生成器，将待处理的归一化NCCT图像作为生成器输入，输出归一化合成CTA图像，
所述步骤3中的生成器与矫正器的联合聚焦学习损失函数LGR定义为：
Figure FDA0004240798890000011
LGAN(G，D)＝Ex[(1-D(G(x)))2]
Figure FDA0004240798890000012
Figure FDA0004240798890000013
LGAN(G，D)为对抗损失函数，D为判别器，G为生成器，m为聚焦尺度数，bi为第i个
Figure FDA0004240798890000014
的加权系数，/>
Figure FDA0004240798890000015
为矫正损失函数，γ为Lsmooth的加权系数，Lsmooth为平滑损失函数；E(.)为期望运算符，下标为输入变量，x为生成器G输入的归一化NCCT图像，/>
Figure FDA0004240798890000017
对应于重采样操作，R为矫正器，/>
Figure FDA0004240798890000016
为梯度运算符为，||.||1为L1距离运算符，R(G(x)，y)为矫正器训练输出的矫正空间矩阵，G(x)为生成器的输出，/>
Figure FDA0004240798890000018
为矫正后的归一化合成CTA图像，y为归一化真实CTA图像，i取值为1和2，i＝1时计算y和/>
Figure FDA0004240798890000019
的全图像损失，i＝2时计算y和
Figure FDA00042407988900000110
的区域滤波图像损失，
所述步骤3中判别器损失函数LAdv(G，D)定义为：
minLAdv(G，D)＝Ey[(1-D(y))2]+Ex[D(G(x))2]。
2.根据权利要求1所述一种基于聚焦学习的CT血管造影智能成像方法，其特征在于，所述生成器包括输入层、编码器、中心残差模块、解码器以及输出层，在生成器中：
归一化NCCT图像输入到输入层，
编码器包括多层下采样卷积层，
中心残差模块包括多个残差块，
解码器包括多层上采样卷积层，
除输出层以外，输入层、下采样卷积层、残差块和上采样卷积层均使用了归一化和功能激活函数，输出层将上采样卷积层的输出进行2D卷积操作并经过激活函数输出归一化合成CTA图像。
3.根据权利要求2所述一种基于聚焦学习的CT血管造影智能成像方法，其特征在于，所述矫正器包括编码器、中心残差模块、解码器及输出端，输出端包括提炼模块和输出层，在矫正器中：
生成器输出的归一化合成CTA图像和归一化真实CTA图像输入到编码器，
编码器包括多层下采样卷积层，
中心残差模块包括多个残差块，
解码器包括多层上采样卷积层，
提炼模块包括残差块和卷积层
编码器的下采样卷积层和对应的解码器的上采样卷积层之间通过跳转连接线进行连接，
除输出端的提炼模块和输出层，编码器的下采样卷积层、中心残差模块的残差块和解码器的上采样卷积层均使用了归一化和功能激活函数，输出层输出矫正空间矩阵。
4.根据权利要求3所述一种基于聚焦学习的CT血管造影智能成像方法，其特征在于，所述判别器包括多层下采样卷积层和一个2维卷积输出层，判别器的输入为归一化真实CTA图像或归一化合成CTA图像，判别器输出单通道图像矩阵块，单通道图像矩阵块经平均池化后，获得对应的池化值。
5.根据权利要求1所述一种基于聚焦学习的CT血管造影智能成像方法，其特征在于，步骤4中的对抗网络模型进行训练具体包括以下步骤：
首先，判别器参数固定不变，计算最小化的联合聚焦学习损失函数LGR的值，进而实现对生成器和矫正器的参数更新；
其次，生成器与矫正器参数保持固定不变，计算最小化的判别器损失函数LAdv(G，D)的值，进而对判别器参数进行优化更新。
6.根据权利要求1所述一种基于聚焦学习的CT血管造影智能成像方法，其特征在于，所述步骤5中的测试性能包括归一化合成CTA图像的平均绝对误差(MAE)和峰值信噪比(PSNR)，还包括归一化合成CTA图像与归一化真实CTA图像的结构相似度(SSIM)。
CN202211178939.8A 2022-09-26 2022-09-26 一种基于聚焦学习的ct血管造影智能成像方法 Active CN115512182B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211178939.8A CN115512182B (zh) 2022-09-26 2022-09-26 一种基于聚焦学习的ct血管造影智能成像方法
PCT/CN2023/109843 WO2024066711A1 (zh) 2022-09-26 2023-07-28 一种基于聚焦学习的ct血管造影智能成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211178939.8A CN115512182B (zh) 2022-09-26 2022-09-26 一种基于聚焦学习的ct血管造影智能成像方法

Publications (2)

Publication Number Publication Date
CN115512182A CN115512182A (zh) 2022-12-23
CN115512182B true CN115512182B (zh) 2023-07-04

Family

ID=84506223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211178939.8A Active CN115512182B (zh) 2022-09-26 2022-09-26 一种基于聚焦学习的ct血管造影智能成像方法

Country Status (2)

Country Link
CN (1) CN115512182B (zh)
WO (1) WO2024066711A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512182B (zh) * 2022-09-26 2023-07-04 中国人民解放军总医院第一医学中心 一种基于聚焦学习的ct血管造影智能成像方法
CN116385329B (zh) * 2023-06-06 2023-08-29 之江实验室 基于特征融合的多层知识蒸馏医学影像生成方法和装置
CN117115064B (zh) * 2023-10-17 2024-02-02 南昌大学 一种基于多模态控制的图像合成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503187A (zh) * 2019-07-26 2019-11-26 江苏大学 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460726B (zh) * 2018-03-26 2020-08-11 厦门大学 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN109035255B (zh) * 2018-06-27 2021-07-02 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN111739635A (zh) * 2020-06-10 2020-10-02 四川大学华西医院 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法
CN114066798B (zh) * 2020-07-29 2024-05-14 复旦大学 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法
CN112101523A (zh) * 2020-08-24 2020-12-18 复旦大学附属华山医院 基于深度学习的cbct图像跨模态预测cta图像的卒中风险筛查方法和系统
CN114049939A (zh) * 2021-11-25 2022-02-15 江苏科技大学 一种基于UNet-GAN网络的肺炎CT图像生成方法
CN114494482A (zh) * 2021-12-24 2022-05-13 中国人民解放军总医院第一医学中心 一种基于平扫ct生成ct血管成像的方法
CN114862982A (zh) * 2022-04-28 2022-08-05 中国兵器科学研究院宁波分院 一种基于生成对抗网络的混合域无监督有限角ct重建方法
CN114926382A (zh) * 2022-05-18 2022-08-19 深圳大学 用于融合图像的生成对抗网络、图像融合方法及终端设备
CN115512182B (zh) * 2022-09-26 2023-07-04 中国人民解放军总医院第一医学中心 一种基于聚焦学习的ct血管造影智能成像方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503187A (zh) * 2019-07-26 2019-11-26 江苏大学 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法

Also Published As

Publication number Publication date
WO2024066711A1 (zh) 2024-04-04
CN115512182A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN115512182B (zh) 一种基于聚焦学习的ct血管造影智能成像方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN111986181B (zh) 基于双注意力机制的血管内支架图像分割方法和系统
CN109345456B (zh) 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN109584164B (zh) 基于二维影像迁移学习的医学图像超分辨率三维重建方法
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN112288041B (zh) 一种多模态深度神经网络的特征融合方法
CN114241077B (zh) 一种ct图像分辨率优化方法及装置
CN115239674B (zh) 基于多尺度判别的计算机血管造影成像合成方法
CN110827250A (zh) 基于轻量级卷积神经网络的智能医学图像质量评估方法
CN110060315B (zh) 一种基于人工智能的图像运动伪影消除方法及系统
CN112435164A (zh) 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法
CN113160380A (zh) 三维磁共振影像超分辨重建方法、电子设备和存储介质
CN110826467A (zh) 一种电子显微镜图像重建系统及其方法
CN117237196A (zh) 基于隐式神经表征的脑部mri超分辨率重建方法及系统
CN114677263A (zh) Ct图像与mri图像的跨模态转换方法和装置
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
CN116402954A (zh) 一种基于深度学习的脊柱三维结构的重建方法
CN114049315B (zh) 关节识别方法、电子设备、存储介质及计算机程序产品
CN115330600A (zh) 一种基于改进srgan的肺部ct图像超分辨率方法
CN110570355B (zh) 多尺度自动聚焦超分辨率处理系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant