CN110163809A - 基于U-net生成对抗网络DSA成像方法及装置 - Google Patents
基于U-net生成对抗网络DSA成像方法及装置 Download PDFInfo
- Publication number
- CN110163809A CN110163809A CN201910254651.6A CN201910254651A CN110163809A CN 110163809 A CN110163809 A CN 110163809A CN 201910254651 A CN201910254651 A CN 201910254651A CN 110163809 A CN110163809 A CN 110163809A
- Authority
- CN
- China
- Prior art keywords
- dsa
- data
- net
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 45
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 238000002601 radiography Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000002792 vascular Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 230000009977 dual effect Effects 0.000 abstract 1
- 230000006872 improvement Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 239000002872 contrast media Substances 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于U‑net的生成对抗网络数字血管减影(DSA)成像方法及装置，该方法首先获得多组造影帧和对应减影帧的原始数据；其次建立U形结构卷积网络，编码提取不同尺度特征，解码和skip connect恢复相应特征；该网络输入造影帧，输出对应的减影帧，以减轻生成DSA对背景帧的依赖，从而去除由于病人运动产生的运动伪影；随后，通过生成对抗训练的方式，交替训练生成器和判别器，进一步增强生成数字血管减影的质量。本发明可以有效地去除数字血管减影(DSA)中的运动伪影，数据质量可满足临床分析、诊断等要求，提高DSA成像质量和减少病人运动带来的影响。
Description
技术领域
本发明涉及一种去除DSA成像伪影方法，尤其涉及一种基于生成对抗网络的去除DSA成像伪影方法及装置，属于XR成像技术领域。
背景技术
数字减影血管造影(Digital Subtraction Angiography)简称DSA，作为一种放射性治疗方法，在实际的成像过程中需要静脉注射造影剂并通过X光采集图像，然后将含有造影剂的图像(盈片)与未含造影剂的图像(蒙片)相减，将我们不感兴趣的组织影像剔除掉，将仅含有造影剂的目标区域影像留存，就得到突出的血管结构的影像，在这里剪掉的部分就是噪声，噪声去除之后，目标区域更加的清晰。这种成像模式能够准确的对血管形态学病变进行精确诊断，提高疾病发现率与诊断准确率，从而提高了手术的安全性，是临床不可缺少的重要工具。DSA在临床应用上用途广泛，主要应用在一些常规检查而且较难诊断的血管疾病中，后来也广泛应用于介入治疗，并且取得了巨大的突破，但是目前为止，DSA技术在脑血管疾病中的应用还不是十分完美，如何为临床诊断获得更高质量的影像结果成为目前阶段研究的热点问题。由于整个过程是连续帧的，机器只简单地完成了减影操作，几乎没有后处理工作，由于病人运动，直接DAS减影成像带有明显的噪声伪影，严重干扰临床医学对疾病的有效判断，不利于诊断和治疗。目前临床上需要对DSA 序列图像全自动的去除伪影增强算法。
近年来，深度学习在很多领域的都取得了突破性进展，但大家似乎发现了这样的一个现实，即深度学习取得突破性进展的工作基本都是判别模型相关的。Goodfellow等人启发自博弈论中的二人零和博弈，开创性地提出了生成对抗网络(GAN)。生成对抗网络包含一个生成模型和一个判别模型。其中，生成模型负责捕捉样本数据的分布，而判别模型一般情况下是一个二分类器，判别输入是真实数据还是生成的样本。这个模型的优化过程是一个“二元极小极大博弈”[1]问题，训练时固定其中一方(判别网络或生成网络)，更新另一个模型的参数，交替迭代，最终，生成模型能够估测出样本数据的分布。生成对抗网络的出现对无监督学习，图片生成[16]的研究起到极大的促进作用。生成对抗网络已经从最初的图片生成，被拓展到计算机视觉的各个领域，如图像分割、视频预测、风格迁移等。
当前去除DSA序列图像运动伪影的方法主要分成为两大类：基于DSA减影数据的后处理增强和DSA图像配准去伪影。对于传统的DSA减影增强方法主要有：边缘检测法，提取DSA图像边界；对数变换法，减少图像中的背景残留，获得图像和背景更一致的效果，剪影之前对造影图像和背景图像分别作对数变换；帧叠加法，降低图像在剪影过程中所产生的随机噪声；加窗显示法，动态的把灰度范围显示出来，从而能够更清晰的观察到医学图像的全部信息。
DSA减影配准就是寻求两幅图像间的几何变换关系,通过这一几何变换,使其中一幅医学图像浮动图像与另外一幅医学图像参考图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上具有相同的空间位置。配准的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。配准方法是由特征空间、搜索空间、搜索算法和相似性测度四个不同方面的组合。特征空间是指对待配准的图像的特征信息的提取搜索空间是进行变换的方式及变换的范围搜索算法决定下一步变换的具体方法以及得到最优的变换参数相似性测度是用来度量图像间相似性的一种标准。这些研究都取得了一定的成果,但是这些研究成果仍存在一定的局限性,不能直接使用于DSA减影图像配准过程,并不能适合临床的实际需求，有的虽然取得了较好的配准结果,但手工干预大,配准的计算工作量大,很难投入实时应用。
发明内容
本发明正是针对现有技术中去除DSA成像运动伪影技术的不足，提供一种基于生成对抗网络的DSA成像方法，该方案以提高单次临床DSA成像后处理算法解决由于病人产生运动伪影的血管减影能力，并且克服现有的传统方法存在的不能充分去除运动幅度较大的伪影的问题。
为了实现上述目的，本发明的技术方案如下：一种基于U-net的生成对抗网络DSA成像方法，所述方法包括以下步骤：
(1)获得多组造影帧数据Icontrast和对应的减影帧数据Idsa，作为卷积网络的训练集；
(2)建立造影帧到剪影帧空间的U-net卷积神经网络，将训练集种造影帧图像数据Icontrast输入U-net中，输出造影帧相对应的剪影帧图像Idsa，通过学习数字血管剪影训练集的数据更新网络参数，从而输出单帧造影帧图像对应的无伪影的剪影帧图像，由于不依赖背景帧图像，从而降低输出的血管剪影与拟输出剪影数据Idsa的欧式距离得到训练好的U-net；将数字血管剪影中训练集数据的Icontrast输入训练完成的U-net，得到网络输出
Idsa之间的欧式距离，训练生成器，同时得到
(3)建立造影帧和减影帧的卷积神经网络CNN作为判别器，将生成器得到的血管减影和对应的Icontrast造影帧图像contact作为输入，输出标签为false；将原始对应的造影帧Icontrast和减影帧Idsa融合contact作为输入，输出标签为true；通过学习原始数据集和生成的数据集更新判别器CNN参数；
(4)交替训练，每训练一次判别器，训练两次生成器，直到判别器无法区分真实数据和生成数据，生成器能生成对应无伪影的血管减影数据；
(5)将测试的造影帧图像输入训练完成的生成器得到对应的血管减影图像，得到当前造影帧对应的数字血管减影结果。
作为本发明的一种改进，所述步骤(1)中对正常较少运动的数字血管剪影序列，取得对应的造影帧图像和剪影帧图像(造影帧-背景帧)。
作为本发明的一种改进，所述步骤(2)采用的U-net作为生成器，输入造影帧图像，输出对应的剪影帧图像，具有多尺度性的转换图像空间。
作为本发明的一种改进，所述步骤(3)的判别器采用三层卷积和池化组成的基本单元，最后一层全连接判断造影帧与剪影帧contact向量是否来自U-net生成的剪影。
作为本发明的一种改进，所述步骤(4)的训练方法，每次训练两次生成器，训练一次判别器，更有利于生成对抗网平稳收敛。
作为本发明的一种改进，所述步骤(2)生成器U-net卷积神经网络的训练使用L2损失与 L2正则化，所述步骤(3)的判别器CNN的训练使用交叉熵损失。
作为本发明的一种改进，生成器U-net卷积神经网络和判别器CNN的数据都是去均值和归一化后的而数据。
作为本发明的一种改进，步骤(2)和步骤(3)中的训练数据是经过平移，旋转，缩放后扭曲的对应的剪影帧和造影帧训练数据进行训练。
本发明另一方面提供的一种基于U-net生成对抗网络的全网络数字血管减影DSA成像装置，包括：
造影帧和对应的减影帧训练集获取与预处理模块，用于获得多组正常无伪影的DSA减影数据和对应的造影帧数据，以及增加无造影剂的造影帧以及对应的清晰无伪影剪影帧数据标签对。
数字血管减影U-net卷积神经网络训练模块，用于建立剪影帧图像空间到造影帧空间的卷积网络，将训练集中造影帧图像数据Icontrast输入U-net中，输出对应的血管减影图像通过学习减影数据空间训练集更新网络参数，从而降低输出输出血管减影图像与真实的血管减影Idsa的欧式距离，得到更新参数的U-net；
判别器CNN获取与处理模块，用于建立造影帧图像与剪影帧图像contact向量判断是否真假标签的CNN。将U-net输出的fake减影帧与对应的造影帧图像contact向量，判别为false；将真实的血管减影和对应的造影帧图像contact向量，判别为true，通过学习判断减影帧和造影帧融合的图像空间更新训练集数据更新网络参数，从而降低生成器输出的fake血管减影与真实对应的血管减影的欧式距离，得到训练好的CNN。
以及，数字血管减影DSA全网络成像模块，用于将测试的造影帧图像数据输入训练完成的生成器U-net卷积神经网络得到血管减影图像，得到剔除运动伪影的数字血管减影DSA图像，避免背景帧的依赖，即的奥DSA全网络成像的最终结果。
本发明还提供了一种基于U-net生成对抗网络的全网络DSA血管减影成像装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于U-net生成对抗的全网络DSA成像方法。
相对于现有技术，本发明的优点如下：本发明在单帧图像空间处理的基础上，创新地将 U-net生成对抗网络从造影帧图像空间转换到剪影帧图像空间，结合生成对抗地方法思想，构成DSA血管减影全卷积网络，利用U-net卷积神经网络充分地理解人体地血管信息、骨骼软组织等背景信息。本发明方法首先获得多组对应的造影帧数据和剪影帧数据；之后建立生成对抗网络，交替训练生成器U-net和判别器CNN卷积神经网络，构成整个生成对抗全网络流程。本发明可以处理有较大运动的DSA序列，去除对应运动伪影及噪声，有效地分离骨骼、软组织等背景信息和血管信息，处理效果优于DSA运动校正配准处理，为减少DSA扫描次数从而降低对扫描者地辐射剂量伤害做出贡献。
附图说明
图1为本发明实施例中全网络DSA血管减影成像流程图。
图2为本发明装置中造影帧图像到剪影帧的生成器的网络图。
图3为本发明装置中输入造影帧图像和剪影帧融合向量判别器的网络图。
图4为本发明实施中轴向无运动伪影DSA减影图像。
图5为本发明实施中轴向有运动伪影DSA减影图像。
图6为本发明实施例中轴向数字血管DSA序列使用U-net生成对抗网络结果图。
图7为本发明实施例中轴向DSA序列中对应的造影帧(a)、基于U-net生成对抗网络方法处理减影帧(b)、光流法配准方法处理剪影帧(c)、实际序列得到的剪影帧(d)的对比图。
图8为本发明实施例中轴向DSA序列中对应的造影帧(a)、基于U-net生成对抗网络方法处理减影帧(b)、光流法配准方法处理剪影帧(c)、实际序列得到的剪影帧(d)的对比图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施仅用于说明本发明而不用限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
实施例1：如图1所示，本发明实施例公开的一种基于U-net生成对抗网络的全网络血管减影DSA成像方法，利用U-net卷积神经网络强大的特征表示能力，结合了U-net的多尺度和生成对抗的优势，建立全网络处理数字血管减影DSA成像流程。
具体如下，首先对训练集中造影帧图像和对应的剪影帧图像去均值和归一化，同样，输入和输出数据分量按照一定的尺寸(图像尺寸为512×512×1)，本发明实施中的U-net卷积神经网络，网络由两部分组成：一个收缩路径(contracting path)来获取上下文信息以及一个对称的扩张路径(expanding path)用以精确定位。它的架构是一种重复结构，每次重复中都有2 个卷积层和一个pooling层，卷积层中卷积核大小均为3*3，激活函数使用ReLU，两个卷积层之后是一个2*2的步长为2的max pooling层。每一次下采样后我们都把特征通道的数量加倍。contracting path中的每一步都首先使用反卷积(up-convolution)，每次使用反卷积都将特征通道数量减半，特征图大小加倍。反卷积过后，将反卷积的结果与contracting path中对应步骤的特征图拼接起来。contracting path中的特征图尺寸稍大，将其修剪过后进行拼接。对拼接后的map进行2次3*3的卷积。最后一层的卷积核大小为1*1，将64 通道的特征图转化为深度为一的结果，即对应的血管减影图像。血管减影空间中使用L2损失与L2正则化，训练时训练误差会随着之间逐渐减小，而训练时的验证误差会呈现先下降后增加的趋势。同时，生成对抗网路生成器和判别器交替训练，通过判别器判断是否为生成器生成血管减影，从而在更新判别器时更新生成器参数。
效果评估准则
首先获得多组腹部数据，实验中所使用多组病人有较大幅度运动和很少运动伪影的DSA 序列数据。采集的头部DSA血管减影，有运动伪影的DSA血管图像(图4)和有较大运动伪影的DSA血管减影(图3)。
视觉评估
通过观察图4-6正常无伪影和有较大运动伪影的DSA血管减影图像，以及在造影帧空间经过全网络处理的图像，可以看到经过全网络的处理结果，可以有效地去除运动伪影。
量化分析
为了量化的验证本发明方法的有效性，我们通过计算比较了不同的头部造影帧图像、图像空间单全网络处理结果与原本无伪影的减影图像的峰值信噪比与结构相似度，这里峰值信噪比PSNR的定义为：
其中I此处代表正常无伪影的DSA血管减影图像(本专利中所用的是很少运动下造影帧减去背景帧的结果)，K代表含经过U-net生成对抗网络全网络处理后的图像数据。i,j分别代表了像素点在图像上的坐标，MAX代表图像可代表的最大像素值。
结构相似度SSIM的定义为：
其中x与y是两幅图像，μx、μy分别是x与y的均值，σx、σy分别是x与y的均值的标准差，σxy是x与y的协方差。从表1可知本发明的数字血管减影DSA成像方法可以提高血管减影DSA图像的均值信噪比与结构相似度，全网络方式明显可以去除有运动伪影的血管减影DSA，接近正常的无伪影血管减影。可以满足临床上对病人有较大幅度运动的情况的临床分析和诊断质量要求。
表2效果比较
该基于U-net生成对抗网络的全网络数字血管减影成像装置实施例可以用于执行上述基于卷积神经网络DSA成像方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，具体实现细节此处不再赘述。
基于与方法实施例相同的技术构思，本发明实施例还提供一种基于U-net生成对抗网络的全网络数字血管减影成像装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的成像方法。
需要说明的是上述实施例，并没有用来限定本发明的保护范围，在上述基础上所作出的等同替换或者替代均属于本发明权利要求的保护范围。
Claims (6)
1.一种基于U-net的生成对抗网络DSA成像方法，其特征在于，所述方法包括以下步骤：
(1)获得多组造影帧数据Icontrast和对应的减影帧数据Idsa，作为卷积网络的训练集；
(2)建立U-net作为生成器，将训练集中的造影帧数据Icontrast输入生成器中，输出相应的血管减影Idsa，通过学习训练集的数据更新网络参数，从而降低输出的血管减影和原始血管减影数据Idsa之间的欧式距离，训练生成器，同时得到
(3)建立造影帧和减影帧的卷积神经网络CNN作为判别器，将生成器得到的血管减影和对应的Icontrast造影帧图像contact作为输入，输出标签为false；将原始对应的造影帧Icontrast和减影帧Idsa融合contact作为输入，输出标签为true；通过学习原始数据集和生成的数据集更新判别器参数；
(4)交替训练，每训练一次判别器，训练两次生成器，直到判别器无法区分真实数据和生成数据，生成器能生成对应无伪影的血管减影数据；
(5)将测试的造影帧图像输入训练完成的生成器得到对应的血管减影图像，得到当前造影帧对应的数字血管减影结果。
2.根据权利要求1所述的基于U-net的生成对抗网络DSA成像方法，其特征在于，所述步骤(1)中通过对DSA连续帧数据，取前3帧作为背景帧，减影帧为造影帧减去背景帧，得到对应的造影帧和剪影帧数据。
3.根据权利要求1所述的基于U-net的生成对抗网络DSA成像方法，其特征在于，所述步骤(2)中采用的U-net作为的生成器将造影帧数据经过非线性映射转换为相应的减影帧数据。
4.根据权利要求1所述的基于U-net的生成对抗网络DSA成像方法，其特征在于，所述U-net卷积神经网络的训练使用L2损失与L2正则化，VGG网络与训练模型pool4_1作为感知损失，所述判别器CNN的训练使用softmax交叉熵损失。
5.根据权利要求1所述的基于U-net的生成对抗网络DSA成像方法，其特征在于，输入到生成器U-net卷积神经网络和判别器CNN的数据是去均值和归一化后的数据。
6.一种基于U-net生成对抗网络的全网络数字血管减影DSA成像装置，其特征在于，所述装置包括：
造影帧和对应的减影帧训练集获取与预处理模块，用于获得多组正常无伪影的DSA减影数据和对应的造影帧数据，以及增加无造影剂的造影帧以及对应的清晰无伪影剪影帧数据标签对；
数字血管减影U-net卷积神经网络训练模块，用于建立剪影帧图像空间到造影帧空间的卷积网络，将训练集中造影帧图像数据Icontrast输入U-net中，输出对应的血管减影图像通过学习减影数据空间训练集更新网络参数，从而降低输出输出血管减影图像与真实的血管减影Idsa的欧式距离，得到更新参数的U-net；
判别器CNN获取与处理模块，用于建立造影帧图像与剪影帧图像contact向量判断是否真假标签的CNN，将U-net输出的fake减影帧与对应的造影帧图像contact向量，判别为false；将真实的血管减影和对应的造影帧图像contact向量，判别为true，通过学习判断减影帧和造影帧融合的图像空间更新训练集数据更新网络参数，从而降低生成器输出的fake血管减影与真实对应的血管减影的欧式距离，得到训练好的CNN；
以及，数字血管减影DSA全网络成像模块，用于将测试的造影帧图像数据输入训练完成的生成器U-net卷积神经网络得到血管减影图像，得到剔除运动伪影的数字血管减影DSA图像，避免背景帧的依赖，即的奥DSA全网络成像的最终结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910254651.6A CN110163809A (zh) | 2019-03-31 | 2019-03-31 | 基于U-net生成对抗网络DSA成像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910254651.6A CN110163809A (zh) | 2019-03-31 | 2019-03-31 | 基于U-net生成对抗网络DSA成像方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110163809A true CN110163809A (zh) | 2019-08-23 |
Family
ID=67638431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910254651.6A Pending CN110163809A (zh) | 2019-03-31 | 2019-03-31 | 基于U-net生成对抗网络DSA成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163809A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599421A (zh) * | 2019-09-12 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 模型训练方法、视频模糊帧转换方法、设备及存储介质 |
| CN110852326A (zh) * | 2019-11-06 | 2020-02-28 | 贵州工程应用技术学院 | 一种手写体版面分析和多风格古籍背景融合方法 |
| CN110852993A (zh) * | 2019-10-12 | 2020-02-28 | 北京量健智能科技有限公司 | 一种造影剂作用下的成像方法与设备 |
| CN110930418A (zh) * | 2019-11-27 | 2020-03-27 | 江西理工大学 | 融合W-net和条件生成对抗网络的视网膜血管分割方法 |
| CN111815692A (zh) * | 2020-07-15 | 2020-10-23 | 大连东软教育科技集团有限公司 | 无伪影数据及有伪影数据的生成方法、系统及存储介质 |
| CN111862046A (zh) * | 2020-07-21 | 2020-10-30 | 江苏省人民医院（南京医科大学第一附属医院） | 一种心脏冠脉剪影中导管位置判别系统和方法 |
| CN111999731A (zh) * | 2020-08-26 | 2020-11-27 | 合肥工业大学 | 一种基于感知生成对抗网络的电磁逆散射成像方法 |
| CN112101523A (zh) * | 2020-08-24 | 2020-12-18 | 复旦大学附属华山医院 | 基于深度学习的cbct图像跨模态预测cta图像的卒中风险筛查方法和系统 |
| CN112184690A (zh) * | 2020-10-12 | 2021-01-05 | 推想医疗科技股份有限公司 | 冠脉血管走向的预测方法、预测模型的训练方法及装置 |
| WO2021035629A1 (zh) * | 2019-08-29 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 获取画质增强网络的方法、图像画质增强方法、装置、可移动平台、相机及存储介质 |
| CN112862722A (zh) * | 2021-02-25 | 2021-05-28 | 清华大学 | 一种双能x射线减影方法和装置 |
| CN113096169A (zh) * | 2021-03-31 | 2021-07-09 | 华中科技大学 | 一种非刚性多模医学图像的配准模型建立方法及其应用 |
| CN113902746A (zh) * | 2021-12-13 | 2022-01-07 | 北京唯迈医疗设备有限公司 | 医学图像中血管导丝提取方法、系统、电子设备及介质 |
| CN113989338A (zh) * | 2021-09-06 | 2022-01-28 | 北京东软医疗设备有限公司 | 图像配准方法及装置、存储介质及计算机设备 |
| CN113989171A (zh) * | 2021-09-06 | 2022-01-28 | 北京东软医疗设备有限公司 | 减影图生成方法及装置、存储介质、计算机设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102550A (zh) * | 2018-06-08 | 2018-12-28 | 东南大学 | 基于卷积残差网络的全网络低剂量ct成像方法及装置 |
| CN109166126A (zh) * | 2018-08-13 | 2019-01-08 | 苏州比格威医疗科技有限公司 | 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法 |
-
2019
- 2019-03-31 CN CN201910254651.6A patent/CN110163809A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102550A (zh) * | 2018-06-08 | 2018-12-28 | 东南大学 | 基于卷积残差网络的全网络低剂量ct成像方法及装置 |
| CN109166126A (zh) * | 2018-08-13 | 2019-01-08 | 苏州比格威医疗科技有限公司 | 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021035629A1 (zh) * | 2019-08-29 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 获取画质增强网络的方法、图像画质增强方法、装置、可移动平台、相机及存储介质 |
| CN110599421A (zh) * | 2019-09-12 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 模型训练方法、视频模糊帧转换方法、设备及存储介质 |
| CN110599421B (zh) * | 2019-09-12 | 2023-06-09 | 腾讯科技（深圳）有限公司 | 模型训练方法、视频模糊帧转换方法、设备及存储介质 |
| CN110852993A (zh) * | 2019-10-12 | 2020-02-28 | 北京量健智能科技有限公司 | 一种造影剂作用下的成像方法与设备 |
| CN110852993B (zh) * | 2019-10-12 | 2024-03-08 | 拜耳股份有限公司 | 一种造影剂作用下的成像方法与设备 |
| CN110852326A (zh) * | 2019-11-06 | 2020-02-28 | 贵州工程应用技术学院 | 一种手写体版面分析和多风格古籍背景融合方法 |
| CN110852326B (zh) * | 2019-11-06 | 2022-11-04 | 贵州工程应用技术学院 | 一种手写体版面分析和多风格古籍背景融合方法 |
| CN110930418A (zh) * | 2019-11-27 | 2020-03-27 | 江西理工大学 | 融合W-net和条件生成对抗网络的视网膜血管分割方法 |
| CN110930418B (zh) * | 2019-11-27 | 2022-04-19 | 江西理工大学 | 融合W-net和条件生成对抗网络的视网膜血管分割方法 |
| CN111815692A (zh) * | 2020-07-15 | 2020-10-23 | 大连东软教育科技集团有限公司 | 无伪影数据及有伪影数据的生成方法、系统及存储介质 |
| CN111815692B (zh) * | 2020-07-15 | 2023-12-01 | 东软教育科技集团有限公司 | 无伪影数据及有伪影数据的生成方法、系统及存储介质 |
| CN111862046A (zh) * | 2020-07-21 | 2020-10-30 | 江苏省人民医院（南京医科大学第一附属医院） | 一种心脏冠脉剪影中导管位置判别系统和方法 |
| CN111862046B (zh) * | 2020-07-21 | 2023-11-17 | 江苏省人民医院（南京医科大学第一附属医院） | 一种心脏冠脉剪影中导管位置判别系统和方法 |
| CN112101523A (zh) * | 2020-08-24 | 2020-12-18 | 复旦大学附属华山医院 | 基于深度学习的cbct图像跨模态预测cta图像的卒中风险筛查方法和系统 |
| CN111999731A (zh) * | 2020-08-26 | 2020-11-27 | 合肥工业大学 | 一种基于感知生成对抗网络的电磁逆散射成像方法 |
| CN111999731B (zh) * | 2020-08-26 | 2022-03-22 | 合肥工业大学 | 一种基于感知生成对抗网络的电磁逆散射成像方法 |
| CN112184690A (zh) * | 2020-10-12 | 2021-01-05 | 推想医疗科技股份有限公司 | 冠脉血管走向的预测方法、预测模型的训练方法及装置 |
| CN112862722B (zh) * | 2021-02-25 | 2023-03-24 | 清华大学 | 一种双能x射线减影方法和装置 |
| CN112862722A (zh) * | 2021-02-25 | 2021-05-28 | 清华大学 | 一种双能x射线减影方法和装置 |
| CN113096169B (zh) * | 2021-03-31 | 2022-05-20 | 华中科技大学 | 一种非刚性多模医学图像的配准模型建立方法及其应用 |
| CN113096169A (zh) * | 2021-03-31 | 2021-07-09 | 华中科技大学 | 一种非刚性多模医学图像的配准模型建立方法及其应用 |
| CN113989171A (zh) * | 2021-09-06 | 2022-01-28 | 北京东软医疗设备有限公司 | 减影图生成方法及装置、存储介质、计算机设备 |
| CN113989338A (zh) * | 2021-09-06 | 2022-01-28 | 北京东软医疗设备有限公司 | 图像配准方法及装置、存储介质及计算机设备 |
| CN113902746A (zh) * | 2021-12-13 | 2022-01-07 | 北京唯迈医疗设备有限公司 | 医学图像中血管导丝提取方法、系统、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163809A (zh) | 基于U-net生成对抗网络DSA成像方法及装置 | |
| CN110689083B (zh) | 一种上下文金字塔融合网络及图像分割方法 | |
| Wolterink et al. | Generative adversarial networks for noise reduction in low-dose CT | |
| CN107106102B (zh) | 数字减影血管造影 | |
| CN109102550A (zh) | 基于卷积残差网络的全网络低剂量ct成像方法及装置 | |
| CN111710012B (zh) | 一种基于两维复合配准的octa成像方法与装置 | |
| CN110517198A (zh) | 用于ldct图像去噪的高频敏感gan网络 | |
| CN101082983A (zh) | 基于感兴趣区域的自适应医学序列图像插值方法 | |
| TW201219013A (en) | Method for generating bone mask | |
| CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
| CN108537779A (zh) | 基于聚类的椎骨分割与质心检测的方法 | |
| Kakade et al. | Identification of nerve in ultrasound images using U-net architecture | |
| CN113935976A (zh) | 一种增强ct图像的脏器内血管自动分割方法及系统 | |
| CN115018728A (zh) | 基于多尺度变换和卷积稀疏表示的图像融合方法及系统 | |
| Santini et al. | Synthetic contrast enhancement in cardiac CT with Deep Learning | |
| Huang et al. | Joint spine segmentation and noise removal from ultrasound volume projection images with selective feature sharing | |
| CN115456890A (zh) | 基于多尺度双域判别器的生成对抗医学ct图像去噪方法 | |
| CN109389567B (zh) | 一种快速光学成像数据的稀疏滤波方法 | |
| CN114565711A (zh) | 基于深度学习的心脏图像重建方法及系统 | |
| CN116524191B (zh) | 融入测地线投票算法的深度学习网络的血管分割方法 | |
| CN111477304A (zh) | 一种pet和mri图像相融合的肿瘤照射成像组合方法 | |
| Li et al. | Dual-domain fusion deep convolutional neural network for low-dose CT denoising | |
| Longuefosse et al. | Lung CT Synthesis Using GANs with Conditional Normalization on Registered Ultrashort Echo-Time MRI | |
| Fei et al. | Lightening Anything in Medical Images | |
| Thanh-Trung et al. | Low dose CT image denoising using deep convolutional neural networks with extended receptive fields |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190823 |
|
| RJ01 | Rejection of invention patent application after publication |