CN117745856B - 基于平扫ct的cta图像生成方法及系统 - Google Patents
基于平扫ct的cta图像生成方法及系统 Download PDFInfo
- Publication number
- CN117745856B CN117745856B CN202311746306.7A CN202311746306A CN117745856B CN 117745856 B CN117745856 B CN 117745856B CN 202311746306 A CN202311746306 A CN 202311746306A CN 117745856 B CN117745856 B CN 117745856B
- Authority
- CN
- China
- Prior art keywords
- image
- encoder
- cta image
- blocks
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012795 verification Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 42
- 238000009792 diffusion process Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims 1
- 238000010968 computed tomography angiography Methods 0.000 description 99
- 230000008569 process Effects 0.000 description 16
- 210000004204 blood vessel Anatomy 0.000 description 13
- 239000002872 contrast media Substances 0.000 description 9
- 238000010200 validation analysis Methods 0.000 description 7
- 230000002792 vascular Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 5
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 5
- 238000002583 angiography Methods 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010029155 Nephropathy toxic Diseases 0.000 description 1
- 206010062237 Renal impairment Diseases 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 231100000417 nephrotoxicity Toxicity 0.000 description 1
- 230000007694 nephrotoxicity Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 231100000857 poor renal function Toxicity 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种基于平扫CT的CTA图像生成方法及系统，该方法包括如下步骤：采集CT图像和对应的真实CTA图像，将CT图像和对应的真实CTA图像作为第一样本对；将CT图像每一帧的横截面拆解为CT图像块，并将真实CTA图像每一帧的横截面拆解为真实CTA图像块，将CT图像块和对应的真实CTA图像块作为第二样本对；基于对抗网络架构生成2D对抗网络模型和3D对抗网络模型；利用训练集对对抗网络模型进行训练，并利用验证集对训练后的对抗网络模型进行验证；将测试集输入至验证完成的对抗网络模型中，生成对应的目标CTA图像和对应的目标CTA图像块；将目标CTA图像与目标CTA图像块融合，得到合成CTA图像。
Description
技术领域
本发明属于医疗图像生成技术领域，具体是涉及到一种基于平扫CT的CTA图像生成方法及系统。
背景技术
目前临床上主要用于血管成像的方法有数字剪影血管造影(Digitalsubtractionangiography，DSA)，计算机体层摄影血管成像(Computed topographyangiography，CTA)，磁共振血管成像(Magnetic resonance angiography，MRA)，以及超声血管成像等。其中，DSA由于空间分辨率高且能够实时观察，被认为是血管成像的金标准，但是，这种方法有创伤，往往不作为首选的检查方法。CTA和MRA可对全身各部位血管进行成像，且创伤很小，常常作为首选的检查方法。超声血管成像由于只能对特定部位成像，且成像效果容易受到患者本身情况以及操作者水平影响。DSA、CTA需要注射造影剂(也称为：对比剂)才能达到成像的目的，MRA除在特定几个部位(例如：头血管)无需造影剂外，其他部位的血管成像均需要注射造影剂。
注射造影剂前称为平扫CT，血管结构在平扫CT显示为低密度，无法区分管腔和管壁。注射造影剂之后称为增强CT，CTA是增强CT的一种特例。在CT血管成像时，血管的管腔结构显示为高密度，管壁则无变化，两者可显著地区分，从而获得管腔的形态变化。目前临床中通常使用CTA方法，但是，由于需要注射造影剂，存在造影剂过敏或相关不良事件等发生的可能性，同时由于造影剂具有肾毒性，对于肾脏功能受损的患者无法进行该项检查。为解决上述问题在现有技术中通常利用深度学习模型将CT图像转换为对应的CTA图像，深度学习模型往往采用2D对抗网络框架，在2D对抗网络框架中结合多个损失进行联合优化，有效提升了所生成的CTA图像的图像质量。然而采用上述现有技术所生成的CTA图像中，可能会出现部分血管图像不连续的问题，存在血管缺失的CTA图像可能会进一步导致诊断失误。
发明内容
本发明提供一种基于平扫CT的CTA图像生成方法及系统，以解决通过CT图像生成对应CTA图像的过程中容易出现血管图像不连续的问题。
第一方面，本发明提供一种基于平扫CT的CTA图像生成方法及，该方法包括如下步骤：
采集CT图像和对应的真实CTA图像，将所述CT图像和对应的所述真实CTA图像作为第一样本对，并将所述第一样本对划分为第一训练集、第一验证集和第一测试集；
将所述CT图像每一帧的横截面拆解为CT图像块，并将所述真实CTA图像每一帧的横截面拆解为真实CTA图像块，将所述CT图像块和对应的所述真实CTA图像块作为第二样本对，并将所述第二样本对划分为第二训练集、第二验证集和第二测试集；
基于对抗网络架构生成2D对抗网络模型和3D对抗网络模型；
利用所述第一训练集对所述2D对抗网络模型进行训练，通过所述2D对抗网络模型的联合损失函数调整所述2D对抗网络模型的模型参数，并利用所述第一验证集对训练后的所述2D对抗网络模型进行验证；
利用所述第二训练集对所述3D对抗网络模型进行训练，通过所述3D对抗网络模型的联合损失函数调整所述3D对抗网络模型的模型参数，并利用所述第二验证集对训练后的所述3D对抗网络模型进行验证；
将所述第一测试集输入至验证完成的所述2D对抗网络模型中，生成对应的目标CTA图像；
将所述第二测试集输入至验证完成的所述3D对抗网络模型中，生成对应的目标CTA图像块；
将所述目标CTA图像与所述目标CTA图像块融合，得到合成CTA图像。
可选的，所述2D对抗网络模型包括2D生成器和2D鉴别器，所述3D对抗网络模型包括3D生成器和3D鉴别器。
可选的，所述2D生成器和所述3D生成器均采用级联架构，所述2D生成器包括2D编码器和2D解码器，所述2D编码器包括多个不同尺寸和不同深度的2D编码器块，所述2D解码器包括多个不同尺寸和不同深度的2D解码器块，所述2D编码器块的数量和所述2D解码器块的数量相等；
所述3D生成器包括3D编码器和3D解码器，所述3D编码器包括多个不同尺寸和不同深度的3D编码器块，所述3D解码器包括多个不同尺寸和不同深度的3D解码器块，所述3D编码器块的数量和所述3D解码器块的数量相等；
所述2D鉴别器包括线性输出层、低通滤波层和多个不同尺度和不同深度的2D卷积层；
所述3D鉴别器包括线性输出层、低通滤波层和多个不同尺度和不同深度的3D卷积层。
可选的，所述2D编码器块包括多层2D下采样卷积层和注意力机制层，所述3D编码器块包括多层3D下采样卷积层和注意力机制层。
可选的，所述2D解码器块包括多层2D解码块层、ToRGB层和注意力机制层，所述3D解码器块包括多层3D解码块层、ToRGB层和注意力机制层。
可选的，所述将所述第一测试集输入至验证完成的所述2D对抗网络模型中，生成对应的目标CTA图像包括如下步骤：
将所述第一测试集输入至验证完成的所述2D对抗网络模型中的2D编码器；
通过所述2D编码器中的多个所述2D编码器块生成2D编码器输出，并将各个所述2D编码器块中的所述2D编码器输出馈送至相同尺寸和深度的所述2D解码器块；
通过所有所述2D解码器块将所述2D编码器输出进行特征融合，得到目标CTA图像。
可选的，所述将所述第二测试集输入至验证完成的所述3D对抗网络模型中，生成对应的目标CTA图像块包括如下步骤：
将所述第二测试集输入至验证完成的所述3D对抗网络模型中的3D编码器；
通过所述3D编码器中的多个所述3D编码器块生成3D编码器输出，并将各个所述2D编码器块中的所述3D编码器输出馈送至相同尺寸和深度的所述3D解码器块；
通过所有所述3D解码器块将所述3D编码器输出进行特征融合，得到目标CTA图像块。
可选的，所述联合损失函数包括Lsgan损失函数、Vgg损失函数和像素损失函数；
所述Lsgan损失函数表示如下：
LGAN＝(mean(D(realsamps))-1)2+mean(D(G(fakesamps)))2
式中：LGAN表示所述Lsgan损失函数，D(realsamps)表示鉴别器对真实样本的预测，D(G(fakesamps))表示鉴别器对假样本的预测，mean(·)表示计算预测的平均值；
所述Vgg损失函数表示如下：
式中：LVgg表示所述Vgg损失函数，N表示模型特征数量，表示生成器所输出图像的第i个特征，表示真实图像的第i个特征；
所述像素损失函数表示如下：
LPixel＝mean(|source-target|⊙mask)
式中：source表示生成器所输出的图像，target表示真实图像，⊙mask表示加权掩码。
可选的，所述将所述目标CTA图像与所述目标CTA图像块融合，得到合成CTA图像包括如下步骤：
采用基于导向滤波的图像融合算法将所述目标CTA图像与所述目标CTA图像块融合，得到初始合成CTA图像；
将所述初始合成CTA图像输入至预设的扩散模型中，通过所述扩散模型输出合成CTA图像。
第二方面，本发明还提供一种基于平扫CT的CTA图像生成系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中所述的方法。
本发明的有益效果是：
本发明综合利用了2D对抗网络模型和3D对抗网络模型，将采集的CT图像和真实CTA图像被拆解为图像块，这样可以更充分地利用数据训练对抗网络模型，提高了模型的泛化能力和生成效果。通过联合生成CTA图像和CTA图像块，可以更全面地捕捉CT图像和CTA图像之间的关系。并且由于通过3D对抗网络模型所生成的CTA图像块中，血管的连续性比2D对抗网络模型所生成的血管表现更佳，而2D对抗网络模型所生成的CTA图像所呈现的血管更清晰，因此最后将目标CTA图像与目标CTA图像块融合所得到的合成CTA图像中，血管呈现不仅更清晰并且具有较好的连续性。
附图说明
图1为本发明中基于平扫CT的CTA图像生成方法的流程示意图。
图2为本发明中2D对抗网络模型与3D对抗网络模型联合生成CTA图像的流程示意图。
图3为本发明中对抗网络模型的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为一个实施例中基于平扫CT的CTA图像生成方法的流程示意图。应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。如图1所示，本发明所公开的一种基于平扫CT的CTA图像生成方法具体包括如下步骤：
S101.采集CT图像和对应的真实CTA图像，将CT图像和对应的真实CTA图像作为第一样本对，并将第一样本对划分为第一训练集、第一验证集和第一测试集。
其中，通过CT扫描设备采集CT图像和对应的真实CTA图像，采集到CT图像和对应的真实CTA图像后，可以先对图像进行归一化预处理，例如将CT图像和对应真实CTA图像的原始灰阶空间由[-1024，3071]归一化至[-1，1]，以加速模型训练收敛。归一化预处理后，将CT图像和对应的真实CTA图像作为第一样本对，并将第一样本对划分为第一训练集、第一验证集和第一测试集，用于训练和验证对抗生成网络模型。
S102.将CT图像每一帧的横截面拆解为CT图像块，并将真实CTA图像每一帧的横截面拆解为真实CTA图像块，将CT图像块和对应的真实CTA图像块作为第二样本对，并将第二样本对划分为第二训练集、第二验证集和第二测试集。
其中，对CT图像和真实CTA图像进行预处理，将其拆解为图像块，并划分为第二训练集、第二验证集和第二测试集，为3D对抗网络模型的训练和验证做准备。
S103.基于对抗网络架构生成2D对抗网络模型和3D对抗网络模型。
其中，参照图2，基于生成对抗网络(GAN)的架构生成2D对抗网络模型和3D对抗网络模型。
S104.利用第一训练集对2D对抗网络模型进行训练，通过2D对抗网络模型的联合损失函数调整2D对抗网络模型的模型参数，并利用第一验证集对训练后的2D对抗网络模型进行验证。
其中，使用第一训练集对2D对抗网络模型进行训练，通过最小化联合损失函数来调整模型参数，并使用第一验证集对训练后的模型进行验证。
S105.利用第二训练集对3D对抗网络模型进行训练，通过3D对抗网络模型的联合损失函数调整3D对抗网络模型的模型参数，并利用第二验证集对训练后的3D对抗网络模型进行验证。
其中，使用第二训练集对3D对抗网络模型进行训练，通过最小化联合损失函数来调整模型参数，并使用第二验证集对训练后的模型进行验证。
S106.将第一测试集输入至验证完成的2D对抗网络模型中，生成对应的目标CTA图像。
S107.将第二测试集输入至验证完成的3D对抗网络模型中，生成对应的目标CTA图像块。
S108.将目标CTA图像与目标CTA图像块融合，得到合成CTA图像。
其中，参照图2，将生成的目标CTA图像与对应的目标CTA图像块进行融合，可通过图像处理技术如叠加、融合等操作，得到合成的CTA图像。
本实施方式的实施原理为：
本发明综合利用了2D对抗网络模型和3D对抗网络模型，将采集的CT图像和真实CTA图像被拆解为图像块，这样可以更充分地利用数据训练对抗网络模型，提高了模型的泛化能力和生成效果。通过联合生成CTA图像和CTA图像块，可以更全面地捕捉CT图像和CTA图像之间的关系。并且由于通过3D对抗网络模型所生成的CTA图像块中，血管的连续性比2D对抗网络模型所生成的血管表现更佳，而2D对抗网络模型所生成的CTA图像所呈现的血管更清晰，因此最后将目标CTA图像与目标CTA图像块融合所得到的合成CTA图像中，血管呈现不仅更清晰并且具有较好的连续性。
在其中一种实施方式中，如图2所示，2D对抗网络模型包括2D生成器(2D-G)和2D鉴别器(2D-D)，3D对抗网络模型包括3D生成器(3D-G)和3D鉴别器(3D-D)。
在本实施方式中，参照图3，2D生成器和3D生成器均采用级联架构，2D生成器包括2D编码器和2D解码器，2D编码器包括多个不同尺寸和不同深度的2D编码器块，2D解码器包括多个不同尺寸和不同深度的2D解码器块，2D编码器块的数量和2D解码器块的数量相等。3D生成器包括3D编码器和3D解码器，3D编码器包括多个不同尺寸和不同深度的3D编码器块，3D解码器包括多个不同尺寸和不同深度的3D解码器块，3D编码器块的数量和3D解码器块的数量相等；2D鉴别器包括线性输出层、低通滤波层和多个不同尺度和不同深度的2D卷积层；3D鉴别器包括线性输出层、低通滤波层和多个不同尺度和不同深度的3D卷积层。
在本实施方式中，2D编码器的尺寸和深度分别为：
{512：32，256：64，128：128，64：256，32：512，16：512，8：512，4：512}。
而2D解码器的尺寸和深度分别为：
{8：512，16：512，32：512，64：256，128：128，256：64，512：32}。2D编码器的模块利用卷积和低通滤波的组合，采用无规范化层的调制解调技术。2D解码器的模块使用低通滤波器和带调制解调的转置卷积。
在本实施方式中，鉴别器的尺寸和深度分别为{512：32，256：64，128：128，64：256，32：512，16：512，8：512，4：512}，鉴别器为resnet架构，使用卷积层和低通滤波层构成，在卷积中使用调制解调方法，无norm层，最后用带调制解调的linear层输出特征，激活函数使用SiLU。
在其中一种实施方式中，2D编码器块包括多层2D下采样卷积层和注意力机制层，3D编码器块包括多层3D下采样卷积层和注意力机制层。
在本实施方式中，2D解码器块包括多层2D解码块层、ToRGB层和注意力机制层，3D解码器块包括多层3D解码块层、ToRGB层和注意力机制层。在2D解码器的{64，128，256，512}层中的ToRGB层将特征解码成多尺度图像。将transform层并入编码器的{64，32，16，8，4}层和解码器的{8，16，32，64}层，并合并相应大小的transform层输出。使用的激活函数为SiLU。
在其中一种实施方式中，步骤S106即将第一测试集输入至验证完成的2D对抗网络模型中，生成对应的目标CTA图像具体包括如下步骤：
将第一测试集输入至验证完成的2D对抗网络模型中的2D编码器；
通过2D编码器中的多个2D编码器块生成2D编码器输出，并将各个2D编码器块中的2D编码器输出馈送至相同尺寸和深度的2D解码器块；
通过所有2D解码器块将2D编码器输出进行特征融合，得到目标CTA图像。
在本实施方式中，将第一测试集的CT图像输入至验证完成的2D对抗网络模型中的2D编码器，用于将输入的CT图像编码成低维的特征表示。2D编码器通常由多个编码器块组成，每个编码器块可以将输入的图像特征进行多层次的编码和抽象，得到不同尺度和深度的特征表示。得到2D编码器的输出后，将这些特征表示通过相同尺寸和深度的2D解码器块进行解码，用于将低维特征表示还原为原始图像的特征表示。将所有2D解码器块的输出进行特征融合，以获得更丰富和准确的特征表示，最终得到目标的CTA图像。
在其中一种实施方式中，步骤S107即将第二测试集输入至验证完成的3D对抗网络模型中，生成对应的目标CTA图像块具体包括如下步骤：
将第二测试集输入至验证完成的3D对抗网络模型中的3D编码器；
通过3D编码器中的多个3D编码器块生成3D编码器输出，并将各个2D编码器块中的3D编码器输出馈送至相同尺寸和深度的3D解码器块；
通过所有3D解码器块将3D编码器输出进行特征融合，得到目标CTA图像块。
在本实施方式中，将第二测试集的CT图像块输入至验证完成的3D对抗网络模型中的3D编码器，用于将输入的CT图像块编码成低维的特征表示。3D编码器通常由多个编码器块组成，每个编码器块可以将输入的图像块特征进行多层次的编码和抽象，得到不同尺度和深度的特征表示。得到3D编码器的输出后，将这些特征表示通过相同尺寸和深度的3D解码器块进行解码，用于将低维特征表示还原为原始图像块的特征表示。将所有3D解码器块的输出进行特征融合，以获得更丰富和准确的特征表示，最终得到目标的CTA图像块。
在其中一种实施方式中，联合损失函数包括Lsgan损失函数、Vgg损失函数和像素损失函数，Lsgan损失函数表示如下：
LGAN＝(mean(D(realsamps))-1)2+mean(D(G(fakesamps)))2
式中：LGAN表示Lsgan损失函数，D(realsamps)表示鉴别器对真实样本的预测，D(G(fakesamps))表示鉴别器对假样本的预测，mean(·)表示计算预测的平均值；
Vgg损失函数表示如下：
式中：LVgg表示Vgg损失函数，N表示模型特征数量，表示生成器所输出图像的第i个特征，表示真实图像的第i个特征；
像素损失函数表示如下：
LPixel＝mean(|source-target⊙mask)
式中：source表示生成器所输出的图像，target表示真实图像，⊙mask表示加权掩码。
在本实施方式中，对于Lsgan损失函数，真实样本的预测目标是1，假样本的预测目标是0。损失计算为鉴别器预测值与目标值之间的均方差。为了利用多分辨率输出对其进行监督，利用Vgg损失函数对生成器的多分辨率输出进行高维特征监督，并使用像素损失函数对生成器的输出进行每像素监督。这种全面的训练方法旨在确保准确和详细地三维医学图像合成。
Vgg损失函数利用预训练的Vgg模型来比较发生器输出和目标图像的高级特征。它提供高维特征监督，捕捉结构和内容差异。在计算损失之前，调整大小操作确保两张图像的大小相当。像素损失函数计算源图像和目标图像之间的逐像素差异，重点是由定义的特定区域(此处是血管部分)。目的是聚焦目标图像中感兴趣的区域。像素损失以每个像素为基础度量生成图像和目标图像之间的绝对差异。遮罩用于突出显示感兴趣的特定区域，调整图像不同部分的重点。这种损失对于逐像素监督特别有用，可以确保逐像素细节的准确性。
在其中一种实施方式中，步骤S108即将目标CTA图像与目标CTA图像块融合，得到合成CTA图像具体包括如下步骤：
采用基于导向滤波的图像融合算法将目标CTA图像与目标CTA图像块融合，得到初始合成CTA图像；
将初始合成CTA图像输入至预设的扩散模型中，通过扩散模型输出合成CTA图像。
在本实施方式中，基于导向滤波的图像融合算法可以将两幅图像进行融合，保留目标图像的细节和结构信息。该算法可以通过引导图像来控制融合过程，以保留目标图像的特征。将目标CTA图像与目标CTA图像块使用导向滤波算法进行融合，得到初始合成CTA图像。预设的扩散模型(Diffusion Model)可以是一种图像处理或图像增强模型，用于对输入的图像进行进一步处理，以获得更加清晰和准确的合成图像。将初始合成CTA图像输入至扩散模型中，通过模型输出经过进一步优化和增强的合成CTA图像。
扩散模型的整个处理过程主要分为Diffusion前向过程和Diffusion逆向过程，Diffusion前向过程即为往图片上加噪声的过程。对于给定的图片，Diffusion前向过程通过T次累计对其添加高斯噪声，得到加噪后的图片。Diffusion前向过程主要是将图像转化为纯噪声的过程，而Diffusion逆向过程正好相反，是将纯噪声还原为原图像的过程。
Diffusion前向过程具体如下：对于一张图像α0，可以为它添加一个服从标准正态分布的噪声z0，然后再在此基础上添加噪声z1，每次添加的噪声都比上一次添加的噪声多，重复此操作，直到变为纯噪声zzn，此过程可以引出公式：
αt＝1-βt
其中β需要越来越大，从而α越来越小，可以将理解为噪声的权重，这样每次生成的噪声都比上一次多。
Diffusion逆向过程具体如下：需要生成一个服从标准正态分布的噪声，然后再在此基础上进行去噪，得到上一步的图像，重复此操作得到最原始的图像x0。
本发明还公开一种基于平扫CT的CTA图像生成系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任意一种实施方式中所描述的基于平扫CT的CTA图像生成方法。
其中，处理器可以采用中央处理单元(CPU)，当然，根据实际的使用情况，也可以采用其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以采用微处理器或者任何常规的处理器等，本申请对此不作限制。
其中，存储器可以为计算机设备的内部存储单元，例如，计算机设备的硬盘或者内存，也可以为计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡(SMC)、安全数字卡(SD)或者闪存卡(FC)等，并且，存储器还可以为计算机设备的内部存储单元与外部存储设备的组合，存储器用于存储计算机程序以及计算机设备所需的其他程序和数据，存储器还可以用于暂时地存储已经输出或者将要输出的数据，本申请对此不作限制。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的保护范围限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上的本申请中一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本申请中一个或多个实施例旨在涵盖落入本申请的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请中一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (6)
1.一种基于平扫CT的CTA图像生成方法，其特征在于，包括如下步骤：
采集CT图像和对应的真实CTA图像，将所述CT图像和对应的所述真实CTA图像作为第一样本对，并将所述第一样本对划分为第一训练集、第一验证集和第一测试集；
将所述CT图像每一帧的横截面拆解为CT图像块，并将所述真实CTA图像每一帧的横截面拆解为真实CTA图像块，将所述CT图像块和对应的所述真实CTA图像块作为第二样本对，并将所述第二样本对划分为第二训练集、第二验证集和第二测试集；
基于对抗网络架构生成2D对抗网络模型和3D对抗网络模型，所述2D对抗网络模型包括2D生成器和2D鉴别器，所述3D对抗网络模型包括3D生成器和3D鉴别器；所述2D生成器和所述3D生成器均采用级联架构，所述2D生成器包括2D编码器和2D解码器，所述2D编码器包括多个不同尺寸和不同深度的2D编码器块，所述2D解码器包括多个不同尺寸和不同深度的2D解码器块，所述2D编码器块的数量和所述2D解码器块的数量相等；所述3D生成器包括3D编码器和3D解码器，所述3D编码器包括多个不同尺寸和不同深度的3D编码器块，所述3D解码器包括多个不同尺寸和不同深度的3D解码器块，所述3D编码器块的数量和所述3D解码器块的数量相等；所述2D鉴别器包括线性输出层、低通滤波层和多个不同尺度和不同深度的2D卷积层；所述3D鉴别器包括线性输出层、低通滤波层和多个不同尺度和不同深度的3D卷积层；
利用所述第一训练集对所述2D对抗网络模型进行训练，通过所述2D对抗网络模型的联合损失函数调整所述2D对抗网络模型的模型参数，并利用所述第一验证集对训练后的所述2D对抗网络模型进行验证；
利用所述第二训练集对所述3D对抗网络模型进行训练，通过所述3D对抗网络模型的联合损失函数调整所述3D对抗网络模型的模型参数，并利用所述第二验证集对训练后的所述3D对抗网络模型进行验证；
将所述第一测试集输入至验证完成的所述2D对抗网络模型中，生成对应的目标CTA图像，包括：将所述第一测试集输入至验证完成的所述2D对抗网络模型中的2D编码器；通过所述2D编码器中的多个所述2D编码器块生成2D编码器输出，并将各个所述2D编码器块中的所述2D编码器输出馈送至相同尺寸和深度的所述2D解码器块；通过所有所述2D解码器块将所述2D编码器输出进行特征融合，得到目标CTA图像；
将所述第二测试集输入至验证完成的所述3D对抗网络模型中，生成对应的目标CTA图像块，包括：将所述第二测试集输入至验证完成的所述3D对抗网络模型中的3D编码器；通过所述3D编码器中的多个所述3D编码器块生成3D编码器输出，并将各个所述2D编码器块中的所述3D编码器输出馈送至相同尺寸和深度的所述3D解码器块；通过所有所述3D解码器块将所述3D编码器输出进行特征融合，得到目标CTA图像块；
将所述目标CTA图像与所述目标CTA图像块融合，得到合成CTA图像。
2.根据权利要求1所述的基于平扫CT的CTA图像生成方法，其特征在于，所述2D编码器块包括多层2D下采样卷积层和注意力机制层，所述3D编码器块包括多层3D下采样卷积层和注意力机制层。
3.根据权利要求1所述的基于平扫CT的CTA图像生成方法，其特征在于，所述2D解码器块包括多层2D解码块层、ToRGB层和注意力机制层，所述3D解码器块包括多层3D解码块层、ToRGB层和注意力机制层。
4.根据权利要求1所述的基于平扫CT的CTA图像生成方法，其特征在于，所述联合损失函数包括Lsgan损失函数、Vgg损失函数和像素损失函数；
所述Lsgan损失函数表示如下：
LGAN＝(mean(D(realsamps))-1)2+mean(D(G(fakesamps)))2
式中：LGAN表示所述Lsgan损失函数，D(realsamps)表示鉴别器对真实样本的预测，D(G(fakesamps))表示鉴别器对假样本的预测，mean(·)表示计算预测的平均值；
所述Vgg损失函数表示如下：
式中：LVgg表示所述Vgg损失函数，N表示模型特征数量，表示生成器所输出图像的第i个特征，表示真实图像的第i个特征；
所述像素损失函数表示如下：
LPixel＝mean(|source-target|⊙mask)
式中：source表示生成器所输出的图像，target表示真实图像，⊙mask表示加权掩码。
5.根据权利要求1所述的基于平扫CT的CTA图像生成方法，其特征在于，所述将所述目标CTA图像与所述目标CTA图像块融合，得到合成CTA图像包括如下步骤：
采用基于导向滤波的图像融合算法将所述目标CTA图像与所述目标CTA图像块融合，得到初始合成CTA图像；
将所述初始合成CTA图像输入至预设的扩散模型中，通过所述扩散模型输出合成CTA图像。
6.一种基于平扫CT的CTA图像生成系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746306.7A CN117745856B (zh) | 2023-12-18 | 2023-12-18 | 基于平扫ct的cta图像生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746306.7A CN117745856B (zh) | 2023-12-18 | 2023-12-18 | 基于平扫ct的cta图像生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117745856A CN117745856A (zh) | 2024-03-22 |
| CN117745856B true CN117745856B (zh) | 2024-07-12 |
Family
ID=90276669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311746306.7A Active CN117745856B (zh) | 2023-12-18 | 2023-12-18 | 基于平扫ct的cta图像生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117745856B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119205966B (zh) * | 2024-11-25 | 2025-05-13 | 烟台大学 | 一种基于ct图生成cta图的方法、系统、设备和介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242949A (zh) * | 2020-01-02 | 2020-06-05 | 浙江工业大学 | 一种基于全卷积神经网络多尺度特征的眼底图像血管分割方法 |
| CN114897726A (zh) * | 2022-05-10 | 2022-08-12 | 中山大学 | 基于三维生成对抗网络的胸腔ct图像伪影去除方法与系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2887664A1 (en) * | 2013-12-19 | 2015-06-24 | Thomson Licensing | Method and device for encoding a high-dynamic range image |
| CN115512182B (zh) * | 2022-09-26 | 2023-07-04 | 中国人民解放军总医院第一医学中心 | 一种基于聚焦学习的ct血管造影智能成像方法 |
-
2023
- 2023-12-18 CN CN202311746306.7A patent/CN117745856B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242949A (zh) * | 2020-01-02 | 2020-06-05 | 浙江工业大学 | 一种基于全卷积神经网络多尺度特征的眼底图像血管分割方法 |
| CN114897726A (zh) * | 2022-05-10 | 2022-08-12 | 中山大学 | 基于三维生成对抗网络的胸腔ct图像伪影去除方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117745856A (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109745062B (zh) | Ct图像的生成方法、装置、设备及存储介质 | |
| CN112313715B (zh) | 使用深度学习技术自动校正x射线数据的受金属影响的体素表示 | |
| CN112435164B (zh) | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 | |
| CN112419173A (zh) | 一种由pet图像生成ct图像的深度学习框架和方法 | |
| Wang et al. | IGNFusion: an unsupervised information gate network for multimodal medical image fusion | |
| CN117745856B (zh) | 基于平扫ct的cta图像生成方法及系统 | |
| CN118537563B (zh) | 一种医学图像多器官分割识别方法及装置 | |
| CN118172525A (zh) | 一种用于改善颅内出血诊断的成对医学图像增强方法 | |
| Li et al. | FDDM: unsupervised medical image translation with a frequency-decoupled diffusion model | |
| CN114373532B (zh) | 基于目标感知生成对抗网络的多模态医学图像翻译方法 | |
| CN119624779B (zh) | 基于边缘增强扩散模型的医学影像超分辨率方法及装置 | |
| CN119648552B (zh) | 一种多域感知对比增强计算机断层扫描图像合成方法、系统及电子设备 | |
| CN118761929B (zh) | 基于条带扩散模型的零样本低剂量ct图像去噪方法及装置 | |
| Ni et al. | SSCA‐Net: Simultaneous Self‐and Channel‐Attention Neural Network for Multiscale Structure‐Preserving Vessel Segmentation | |
| CN117218135B (zh) | 一种基于Transformer的高原肺水肿胸片病灶的分割方法及相关设备 | |
| CN118898547A (zh) | 基于Unet网络-扩散模型的肝脏MRI图像增强方法 | |
| Hu et al. | One-to-Multiple: A Progressive Style Transfer Unsupervised Domain-Adaptive Framework for Kidney Tumor Segmentation | |
| Kuraning et al. | Cycle-Consistent Generative Adversarial Network Based Approach for Denoising CT Scan Images | |
| Anusree et al. | A deep learning approach to generating flattened cbct volume across dental arch from 2d panoramic x-ray for 3d oral cavity reconstruction | |
| Prochazka et al. | Domain adaptation of stable diffusion for ultrasound inpainting: a synthetic data approach for enhanced thyroid nodule segmentation | |
| Zhang et al. | DuoLift-GAN: Reconstructing CT from Single-view and Biplanar X-Rays with Generative Adversarial Networks | |
| US12505548B1 (en) | Unsupervised MR-CT synthesis method, device, equipment, and storage medium | |
| CN119251248B (zh) | 基于深度学习的口腔根管治疗充填质量评估方法及系统 | |
| CN120876659B (zh) | 基于双空间约束的增强ct图像生成方法和设备 | |
| Lee et al. | MRNet: Multifaceted Resilient Networks for Medical Image-to-Image Translation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |