CN112419175A - 一种共享权重的双区域生成对抗网络及其图像生成方法 - Google Patents
一种共享权重的双区域生成对抗网络及其图像生成方法 Download PDFInfo
- Publication number
- CN112419175A CN112419175A CN202011229166.2A CN202011229166A CN112419175A CN 112419175 A CN112419175 A CN 112419175A CN 202011229166 A CN202011229166 A CN 202011229166A CN 112419175 A CN112419175 A CN 112419175A
- Authority
- CN
- China
- Prior art keywords
- artifact
- image
- generator
- feature
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009977 dual effect Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 abstract description 21
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 125000004122 cyclic group Chemical group 0.000 description 7
- 210000004351 coronary vessel Anatomy 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010968 computed tomography angiography Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000018578 heart valve disease Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Abstract
本发明公开了一种共享权重的双区域生成对抗网络及其图像生成方法。该生成对抗网络包括无伪影区域处理模块和有伪影区域处理模块，其中，无伪影区域处理模块包含第一特征生成器、第一特征解析器和第一鉴别器；有伪影区域处理模块包含第二特征生成器、伪影生成器、重建解析器、第二特征解析器和第二鉴别器。本发明通过多次反复使用相同的生成器和解析器进行训练，可以提高生成器和解析器的图像特征的共享性，并且使用两个区域对模型进行训练既可以进行有监督又可以进行无监督训练。利用本发明能够消除医学图像的运动伪影，并在生成图像特征的同时，提高了图像峰值信噪比和结构相似度，从而得到符合诊断需求的更清晰的医学图像。
Description
技术领域
本发明涉及医学图像处理技术领域，更具体地，涉及一种共享权重的双区域生成对抗网络及其图像生成方法。
背景技术
医学图像的伪影去除一直是研究人员致力于解决的难题。以医疗图像冠状动脉计算机断层扫描血管造影(Cornary Computed Tomography Angiography，CCTA)为例，其是指受试者通过静脉注射适当造影剂后，利用计算机和X射线来获取病人心脏断层图像的非侵入式影像学检测方法。CCTA具有扫描时间短，成分信息广泛和以非侵入式可视化血管壁等优点，适用于可疑冠心病的诊断，冠状动脉搭桥术的随访，评估瓣膜性心脏病和评估心脏质量。然而，CCTA获取的影像可能会出现运动伪影，需要重新进行检查。而大量的X射线照射会出现辐射剂量的累计效应，增加各种疾病发生的可能性，进而影响人体生理机能，破坏人体组织器官，甚至危害到患者的生命安全。因此，研究和开发在产生伪影的影像下去除运动伪影，对于目前的医疗诊断领域具有重要的科学意义和广阔的应用前景。
冠状动脉CT成像过程中运动伪影的形成是由于图像像素在CT获取不同角度投影数据时发生了位移，运动伪影的程度取决于位移的速率和图像重建算法的校正结果。通常从两个方面消除运动伪影：第一是控制心率，降低受检者的心率、延长心动周期、减慢冠状动脉运动和延长冠状动脉低速运动的时间，从而降低成像时对时间分辨率的需求；第二是提高时间分辨率，基于MDCT冠状动脉成像基本原理和运动伪影产生的原因，要实现CCTA成像并规避运动伪影，需要将特定扫描方式下获得的最高时间分辨率与冠状动脉运动幅度最小的时相相匹配。
在现有技术中，提高时间分辨率的方案通常从硬件方面或从软件方面进行。具体地，在硬件方面，从提高管球旋转速度，采用宽体探测器和采用双探测器技术出发来提高时间分辨率。在软件方面，采用多扇区重建技术，基于压缩感知的图像重建技术(Prior ImageConstrained Compressed Sensing，PICCS)，运动估算和补偿算法与运动校正技术(SnapShot Freeze，SSF)可以有效提高时间分辨率。
目前，对于从硬件方面提高时间分辨率的方案，提高管球旋转速度受物理特性的限制；采用多探测器技术则受到空间的限制；而采用宽体探测器技术则受限于经济成本。对于从软件方面提高时间分辨率的方案，采用多扇区重建技术需要维持患者的心率稳定，并且受管球旋转时间和扫描螺距的限制；基于压缩感知的图像重建技术尚未得到验证；运动估算和补偿算法依赖大量的计算和评估；运动校正技术需要采集图像中相对运动伪影较小、图像质量较好的时相，经过复杂计算才能消除运动伪影。
发明内容
本发明的目的是克服上述现有技术的缺陷，提供一种新型的生成对抗网络及其图像生成方法，利用基于共享权重的两区域多生成器的生成对抗网络来消除医学图像的运动伪影，并且在去除伪影，生成图像特征的同时，提高了图像峰值信噪比和结构相似度，从而得到符合诊断需求的更清晰的医学图像。
根据本发明的第一方面，提供一种共享权重的双区域生成对抗网络，其包括无伪影区域处理模块、有伪影区域处理模块，其中：
无伪影区域处理模块包括第一生成器和第一鉴别器，第一生成器包含第一特征生成器和第一特征解析器，第一特征生成器用于提取无伪影图像的图像特征，第一特征解析器用于将有伪影区域的第二特征生成器生成的特征图像重新解析为无伪影的图像，第一鉴别器用于计算无伪影区域的对抗损失；
有伪影区域处理模块包含第二生成器和第二鉴别器，其中第二生成器包含第二特征生成器、伪影生成器、重建解析器和第二特征解析器，第二特征生成器用于提取有伪影图像的图像特征；伪影生成器用于提取有伪影图像的伪影特征；重建解析器用于将第二特征生成器和伪影生成器所生成的特征图像相加，解析后得到的特征图像与有伪影图像作为约束；第二特征解析器用于将无伪影区域的特征图像和有伪影区域的伪影特征图像相加，生成以无伪影图像为底的有伪影图像，第二鉴别器用于计算有伪影区域的对抗损失。
根据本发明的第二方面，提供一种图像生成方法，包括：
以设定的联合损失函数为目标训练本发明提供的共享权重的双区域生成对抗网络；
将待处理的医学图像划分为包含伪影的图像块和未含伪影的图像块，分别作为所述有伪影区域处理模块和无伪影区域处理模块的输入，获得生成图像。
与现有技术相比，本发明的优点在于，通过设计两区域多生成器的生成对抗网络，能够有效消除医学图像的运动伪影，并且在硬件方面，不受物理特性、空间和经济成本的限制；在软件方面，不需要复杂的计算且不受患者心率变化的影响，即可得到消除伪影的图像。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的特征生成器结构图；
图2是根据本发明一个实施例的特征解析器结构图；
图3是根据本发明一个实施例的残差模块结构图；
图4是根据本发明一个实施例的鉴别器结构图；
图5是根据本发明一个实施例的伪影生成器结构图；
图6是根据本发明一个实施例的内容鉴别器结构图；
图7是根据本发明一个实施例的内容鉴别器的训练过程示意图；
图8是根据本发明一个实施例的有伪影区域和无伪影区域的鉴别器训练过程示意图；
图9是根据本发明一个实施例的有伪影区域和无伪影区域生成器的训练过程示意图；
图10是根据本发明一个实施例的实验结果对比图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为了解决医学图像的运动伪影的问题，本发明设计了一种共享权重训练的生成对抗网络，通过多次反复使用相同的生成器和解析器进行训练，可以显著提高生成器和解析器的图像特征的共享性，从而提高生成器和解析器对同种特征的学习效率，并且从有伪影区域和无伪影区域相互交叉生成图像特征，提高了生成图像的细节表现力，从而在图像生成过程中能够有效消除图像的运动伪影。
为清楚起见，本文以CCTA图像为例进行说明，但应理解的是，除应用于CCTA图像去伪影外，本发明也可应用于其他类型的医学图像降噪和去伪影。
本发明提供的共享权重双区域生成对抗网络整体上包括无伪影区域处理模块和有伪影区域处理模块，具体设计过程和操作步骤如下。
步骤S110：设计无伪影区域处理模块。
在一个实施例中，无伪影区域处理模块包括生成器Genb和鉴别器Disb。生成器进一步包含特征生成器Encodercont_b和特征解析器Decodercont_b，特征生成器用于提取无伪影的图像的特征，特征解析器将有伪影区域第一特征生成器生成的特征图像重新解析为无伪影的图像。鉴别器用于计算无伪影区域的对抗损失。
特征生成器如图1所示，输入大小为1×H×W的无伪影图像，训练生成器以获得无伪影图像的特征图像。为了获取无伪影图像的特征图像，首先对输入的图像做卷积操作，使用7×7卷积操作获得l×H×W的特征图像，为特征图增加多个通道，多个通道从不同角度学习图像的特征。然后，经过两次4×4卷积对特征图像进行下采样，获得缩小的特征图像。接着，经过4层残差模块(residual block，RES)，学习特征图像低维和高维的特征信息，获得
的特征图像，该特征图像即为特征生成器的最终输出。图1中，每一个卷积层都紧接着非线性激活函数leaky ReLU。
特征解析器如图2所示，输入大小为
的特征图像，经过残差模块学习深浅两层信息，通过两次上采样(Up sample)和卷积核为5×5的卷积层将特征图像恢复到原始图像的尺寸l×H×W，再经过一层卷积核为7×7的卷积层，将特征图像还原到与原尺寸(1×H×W)相同的无伪影图像，除最后一层卷积层外，其余卷积层后包含激活函数leakyReLU。特征解析器的过程相当于特征生成器的逆过程。
图3是图1和图2中残差模块的结构示意，以输入l×H×W图像为例，经过两层3×3卷积得到特征图像，其中第一层卷积后接非线性激活函数leaky ReLU，第二层卷积得到的特征图像与输入图像相加得到残差模块的最终输出。这种使用多层残差模块的方式，能够学习特征图像的深层和浅层信息。
图4是鉴别器的结构示例，输入1×H×W的图像，经过4层卷积核为3×3，步长stride＝2的卷积层，接着通过一层卷积核为1×1，stride为1的卷积层，得到
的特征图像。在训练过程中，可使用最小二乘法损失函数作为约束。在对生成器更新过程中，使用的是生成图像自身的最小二乘法损失函数。而在对鉴别器更新过程中，使用的是生成图像和目标图像的最小二乘法损失函数。
步骤S120，设计有伪影区域处理模块。
在一个实施例中，有伪影区域处理模块包含生成器Gena和鉴别器Disa。生成器进一步包含特征生成器Encodercont_a、伪影生成器Encoderart_a、重建解析器Decoderrecons_a和特征解析器Decodercont_a。特征生成器用于提取有伪影图像的图像特征；伪影生成器是提取有伪影图像的伪影特征；重建解析器用于将由特征生成器和伪影生成器所生成的特征图像相加，解析后得到的特征图像与有伪影图像作为约束；特征解析器用于将无伪影区域的特征图像和有伪影区域的伪影特征图像相加，生成以无伪影图像为底的有伪影图像。鉴别器用于计算有伪影区域的对抗损失。
对于有伪影区域处理模块所包含的特征生成器、重建解析器和特征解析器的结构也可分别采用图1、图2和图2的示例。
图5是伪影生成器的结构示例，经过一层卷积核为7×7的卷积层，然后经过两层卷积核为4×4，stride为2的卷积层，同时也是下采样。下采样得到的特征图像尺寸与特征生成器以及无伪影区域的特征生成器应保持一致。最后通过一层卷积核为1×1的卷积层，得到伪影的特征图像。
此外，有伪影区域的重建解析器和特征解析器以及无伪影区域的特征解析器在上采样得到的特征图像尺寸应当保持一致。
步骤S130，设计内容鉴别器。
优选地，所设计的双区域生成对抗网络可进一步包括内容鉴别器或称风格鉴别器。
内容鉴别器Discont用于提取图像风格的特征，可通过传统的卷积神经网络实现，如图6所示，其包括5层卷积核为3×3，stride为2的卷积层、平均池化层(Avg pool)、并最后通过一层卷积核为1×1的卷积层，获得图像风格的特征图像。内容鉴别器用于对无伪影区域和有伪影区域生成器的特征生成器计算对抗损失，通过增加内容鉴别器对于维持两个区域的特征生成器的训练稳定性具有重要的作用，有利于提高双区域生成对抗网络对不同内容、不同风格图像的普适性。
步骤S140，以设定的联合损失函数为目标训练双区域生成对抗网络。
简言之，整体训练过程包括：步骤S141，训练内容鉴别器；步骤S142，训练有伪影和无伪影区域的鉴别器；步骤S143，训练有伪影和无伪影区域的生成器。
下文所有Encoder、Decoder和Dis分别对应特征图像通过相应下标的生成器、解析器和鉴别器的处理，得到处理后的特征图像。
具体地，在步骤S141中，对于内容鉴别器，在更新自身权重的训练过程中，如图7，使用最小二乘损失函数计算损失值，其中，输入图像生成的特征图像标签为0，目标图像生成的特征图像标签为1。公式如下：
其中，x表示输入图像，y表示目标图像。0和1分别代表有伪影区域和无伪影区域的标签。
在步骤S142中，对于有伪影区域和无伪影区域的鉴别器，更新自身权重的训练过程如图8所示，对于无伪影区域处理模块，输入目标图像，经过Encodercont_b和Decodercont_b，得到输出图像b，将目标图像和图像b输入到鉴别器Disb，得到损失值lossdis_b；对于有伪影区域处理模块，输入输入图像，分别经过特征生成器Encodercont_a和伪影生成器Encoderart_a，得到两个特征图像，将两个特征图像相加，再经过重建解析器Decoderrecons_a，得到输出图像a，将输入图像与图像a输入到鉴别器Disa中，计算得到损失值lossdis_a；同时，将无伪影区域的特征生成器Encodercont_b和有伪影区域的特征生成器Encodercont_a得到的特征图像输入到内容鉴别器Discont，计算得到特征图像out_a和out_b。
在一个实施例中，训练过程各鉴别器的损失函数分别为：
内容鉴别器的loss(损失)计算公式表示为：
由公式(2)可知，在训练两个区域的鉴别器的过程中，为了使内容鉴别器起到稳定两个区域的特征生成器的技术效果，使其生成的特征都是基于图像的特征，训练过程中，没有真实图像和生成图像之分，因此设置标签为0.5。
无伪影区域鉴别器的loss计算公式表示为：
有伪影区域鉴别器的loss计算公式表示为：
结合超参数计算，得到的总体loss值计算公式表示为：
losstotal＝GAN_weight×(lossdis_cont+lossdis_b+lossdis_a) (5)
其中，GAN_weight表示设定的超参数。
在步骤S143中，对于有伪影和无伪影区域的生成器，更新自身权重的训练过程如图9所示，针对输入图像(标记为x)和目标图像(标记为y)，对整个框架的生成器和鉴别器进行更新，完成整体训练的过程。
具体地，整个框架的权重训练除了图9所示，还包含了步骤S141和步骤S142的内容。因此联合损失函数包含以下的内容：
输入图像x经过有伪影区域的特征生成器Encodercont_a和伪影生成器Encoderart_a，分别得到特征图像xc和xa，将xc和xa相加，通过重建解析器Decoderrecons_a获得重建图像，计算重建图像与输入图像的重建损失，公式表示为：
xc通过无伪影区域的特征解析器Decodercont_b，得到特征图像xcc，xcc再通过无伪影区域的特征生成器Decodercont_b，从而得到特征图像xccc；目标图像y通过无伪影区域的特征解析器Decodercont_b得到特征图像yc；yc和xa相加获得yca，yca通过有伪影区域的特征解析器Decodercont_a，得到生成的有伪影图像ycr；ycr通过有伪影区域的特征生成器Encodercont_a与伪影生成器Encoderart_a分别得到特征图像ycrc和ycra，特征图像ycra与xccc相加，再通过有伪影区域的特征解析器Decodercont_a，得到理论上与输入图像一致的生成图像
称为有伪影区域的循环一致性损失函数：
以有伪影区域生成的特征图像分别计算在同一次训练中第一次生成内容特征图像、第一次生成伪影特征图像、第二次生成内容特征图像、第二次生成伪影特征图像的核损失，公式表示为：
有伪影区域生成的特征图像ycr以最小二乘损失计算该特征的图像的对抗损失，公式表示为：
以预训练的VGG19作为感知网络，v(ycr)和v(y)分别代表ycr和y通过感知网络得到的特征图像，而α＝in(x)代表对x进行规范化处理，则有伪影区域的感知损失的计算公式表示为：
目标图像输入到无伪影区域的特征生成器和特征解析器，从特征解析器中得到的特征图像与目标图像之间计算重建损失函数，公式表示为：
将ycrc输入到无伪影区域的特征生成器中，得到特征图像
对
和目标图像计算循环一致性损失，称为无伪影区域的循环一致性损失：
以无伪影区域生成的特征图像分别计算在同一次训练中第一次生成内容特征图像和第二次生成内容特征图像核损失，公式表示为：
无伪影区域生成的特征图像xcc以最小二乘损失计算该特征的图像的对抗损失，公式表示为：
无伪影区域的感知损失计算公式表示为：
内容鉴别器的内容损失表示为：
共享权重的双区域训练生成对抗网络的联合损失函数表示为：
其中GANw是有伪影区域的对抗损失、无伪影区域的对抗损失和风格鉴别器的内容损失的计算权重；KLw是有伪影区域的内容核损失、有伪影区域的伪影核损失和无伪影区域的内容核损失的计算权重；
是有伪影区域的循环内容核损失、有伪影区域的循环伪影核损失和无伪影区域的循环内容核损失的计算权重；VGGw是两个区域的感知损失的计算权重；RECw分别为有伪影区域和无伪影区域的重建损失计算权重；REC_cyc_w是有伪影区域和无伪影区域的循环一致性损失的计算权重。
综上，本发明通过采用多个生成器和鉴别器，设计联合多重损失函数，能够有效保证模型的稳定性以及输出图像的质量。并且，相对于传统的基于硬件方法采集额外数据进行去伪影操作，本发明不需要额外信息即可完成去伪影操作。使用两个区域对模型进行训练既可以进行有监督又可以进行无监督训练。
应理解的是，在整个网络训练优化过程，可使用现有的Adam优化器来优化，训练网络逐步达到收敛状态。训练时，可将不含伪影和含有伪影的CCTA图像转换成多个大小相同的图像块，将图像块分别作为无伪影区域和有伪影区域的输入，将无伪影的CCTA图像作为参考。
进一步地，利用经训练的双区域生成对抗网络即可实现医学图像的伪影去除。例如，将待处理的医学图像划分为包含伪影的图像块和未含伪影的图像块，分别作为有伪影区域处理模块和无伪影区域处理模块的输入，获得生成图像。又如，为了提高对于局部信息的感知能力，将待处理图像的不含伪影和含有伪影的区域分别转换成多个大小相同的图像块，将图像块分别作为无伪影区域和有伪影区域的输入。对医学图像的实际处理过程与训练过程类似，在此不再赘述。
综上所述，本发明使用共享权重的双区域生成对抗网络提高模型的泛化能力以及其医学图像领域的应用。使用深度学习网络直接将伪影图像提升成高质量图像而无需其他信息。除应用于去伪影和降噪外，本发明经过适当更改后，也可应用于图像超分辨领域。此外，本发明在两个区域内提取图像的特征，从有伪影区域和无伪影区域相互交叉生成图像特征，并且在训练模型之间可进一步使用patch方法提高模型对于局部信息的感知能力，从而显著提高生成的医学图像的细节表现力。
为进一步验证本发明的效果，进行了实验。参见图10所示，从左到右，分别为输入图像，生成图像以及目标图像。可以看出，本发明的方法可以有效提高图像的峰值信噪比和结构相似度，同时，可以在一定程度上恢复图像细节信息。
应理解的是，在不违背本发明精神和范围的前提下，本领域技术人员可对上述实施例进行适当的改变或变型，例如对于特征生成器、特征解析器、伪影生成器、重建解析器、内容鉴别器等设置更多或更少的卷积层，设置不同的卷积核、卷积步长等。又如，对于有伪影区域的生成器和无伪影区域的生成器可采用相同或不同的结构等。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种共享权重的双区域生成对抗网络，包括无伪影区域处理模块、有伪影区域处理模块，其中：
无伪影区域处理模块包括第一生成器和第一鉴别器，第一生成器包含第一特征生成器和第一特征解析器，第一特征生成器用于提取无伪影图像的图像特征，第一特征解析器用于将有伪影区域的第二特征生成器生成的特征图像重新解析为无伪影的图像，第一鉴别器用于计算无伪影区域的对抗损失；
有伪影区域处理模块包含第二生成器和第二鉴别器，其中第二生成器包含第二特征生成器、伪影生成器、重建解析器和第二特征解析器，第二特征生成器用于提取有伪影图像的图像特征；伪影生成器用于提取有伪影图像的伪影特征；重建解析器用于将第二特征生成器和伪影生成器所生成的特征图像相加，解析后得到的特征图像与有伪影图像作为约束；第二特征解析器用于将无伪影区域的特征图像和有伪影区域的伪影特征图像相加，生成以无伪影图像为底的有伪影图像，第二鉴别器用于计算有伪影区域的对抗损失。
2.根据权利要求1所述的共享权重的双区域生成对抗网络，其中，还包括内容鉴别器，所述内容鉴别器用于针对无伪影区域的第一特征生成器和有伪影区域的第二特征生成器计算对抗损失。
3.根据权利要求1所述的共享权重的双区域生成对抗网络，其中，第一特征生成器依次包括多层卷积层和多层残差模块，所述多层卷积层被设置为利用多个通道从不同角度学习图像特征并对特征图像进行下采样，所述多层残差模块被设置为学习特征图像低维和高维的特征信息。
4.根据权利要求1所述的共享权重的双区域生成对抗网络，其中，所述伪影生成器通过设置多层卷积层提取有伪影图像的伪影特征并进行下采样，下采样得到的特征图像尺寸与第二特征生成器和无伪影区域的第一特征生成器保持一致。
5.一种图像生成方法，包括：
以设定的联合损失函数为目标训练根据权利要求1至4任一项所述的共享权重的双区域生成对抗网络；
将待处理的医学图像划分为包含伪影的图像块和未含伪影的图像块，分别作为所述有伪影区域处理模块和无伪影区域处理模块的输入，获得生成图像。
6.根据权利要求5所述的图像生成方法，其中，所述共享权重的双区域生成对抗网络包括内容鉴别器，所述内容鉴别器用于针对无伪影区域的第一特征生成器和有伪影区域的第二特征生成器计算对抗损失，训练过程包括：
训练内容鉴别器，以最小二乘损失函数计算损失值；
训练有伪影区域处理模块的第二鉴别器和无伪影区域处理模块的第一鉴别器；
训练有伪影区域处理模块的第二生成器和无伪影区域处理模块的第一生成器。
7.根据权利要求5所述的图像生成方法，其中，训练有伪影区域处理模块的第二鉴别器和无伪影区域处理模块的第一鉴别器包括：
对于无伪影区域处理模块，输入目标图像，经过第一特征生成器和第一特征解析器，得到输出图像b，将目标图像和图像b输入到第一鉴别器，得到损失值lossdis_b；对于有伪影区域处理模块，输入输入图像，分别经过第二特征生成器和伪影生成器，得到两个特征图像，将两个特征图像相加，再经过重建解析器，得到输出图像a，将输入图像与图像a输入到第二鉴别器中，计算得到损失值；并且，将无伪影区域处理模块的第一特征生成器和有伪影区域处理模块的第二特征生成器得到的特征图像输入到内容鉴别器，计算得到特征图像out_a和out_b。
8.根据权利要求6所述的图像生成方法，其中，所述基于共享权重的双区域生成对抗网络中鉴别器的联合损失函数表示为：
losstotal＝GAN_weight×(lossdis_cont+lossdis_b+lossdis_a)
其中，lossdis_cont是内容鉴别器的损失，lossdis_b是无伪影区域处理模块的第一鉴别器的损失，lossdis_a是有伪影区域处理模块的第二鉴别器的损失，GAN_weight是设定的超参数。
9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求5至8中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求5至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011229166.2A CN112419175A (zh) | 2020-11-06 | 2020-11-06 | 一种共享权重的双区域生成对抗网络及其图像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011229166.2A CN112419175A (zh) | 2020-11-06 | 2020-11-06 | 一种共享权重的双区域生成对抗网络及其图像生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112419175A true CN112419175A (zh) | 2021-02-26 |
Family
ID=74780404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011229166.2A Pending CN112419175A (zh) | 2020-11-06 | 2020-11-06 | 一种共享权重的双区域生成对抗网络及其图像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419175A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688832A (zh) * | 2021-08-27 | 2021-11-23 | 北京三快在线科技有限公司 | 一种模型训练及图像处理方法、装置 |
| CN116681790A (zh) * | 2023-07-18 | 2023-09-01 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| US20190128989A1 (en) * | 2017-11-01 | 2019-05-02 | Siemens Healthcare Gmbh | Motion artifact reduction of magnetic resonance images with an adversarial trained network |
| CN110570492A (zh) * | 2019-09-11 | 2019-12-13 | 清华大学 | 神经网络训练方法和设备、图像处理方法和设备以及介质 |
| CN110648376A (zh) * | 2019-08-20 | 2020-01-03 | 南京邮电大学 | 一种基于生成对抗网络的有限角ct重建去伪影的方法 |
| CN110675461A (zh) * | 2019-09-03 | 2020-01-10 | 天津大学 | 一种基于无监督学习的ct图像恢复方法 |
| CN111866521A (zh) * | 2020-07-09 | 2020-10-30 | 浙江工商大学 | 一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法 |
-
2020
- 2020-11-06 CN CN202011229166.2A patent/CN112419175A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190128989A1 (en) * | 2017-11-01 | 2019-05-02 | Siemens Healthcare Gmbh | Motion artifact reduction of magnetic resonance images with an adversarial trained network |
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| CN110648376A (zh) * | 2019-08-20 | 2020-01-03 | 南京邮电大学 | 一种基于生成对抗网络的有限角ct重建去伪影的方法 |
| CN110675461A (zh) * | 2019-09-03 | 2020-01-10 | 天津大学 | 一种基于无监督学习的ct图像恢复方法 |
| CN110570492A (zh) * | 2019-09-11 | 2019-12-13 | 清华大学 | 神经网络训练方法和设备、图像处理方法和设备以及介质 |
| CN111866521A (zh) * | 2020-07-09 | 2020-10-30 | 浙江工商大学 | 一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688832A (zh) * | 2021-08-27 | 2021-11-23 | 北京三快在线科技有限公司 | 一种模型训练及图像处理方法、装置 |
| CN116681790A (zh) * | 2023-07-18 | 2023-09-01 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
| CN116681790B (zh) * | 2023-07-18 | 2024-03-22 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3608877B1 (en) | Iterative image reconstruction framework | |
| Gong et al. | PET image reconstruction using deep image prior | |
| JP6855223B2 (ja) | 医用画像処理装置、ｘ線コンピュータ断層撮像装置及び医用画像処理方法 | |
| US11126914B2 (en) | Image generation using machine learning | |
| US20220383565A1 (en) | Deep learning based three-dimensional reconstruction method for low-dose pet imaging | |
| Luo et al. | 3D transformer-GAN for high-quality PET reconstruction | |
| US11120582B2 (en) | Unified dual-domain network for medical image formation, recovery, and analysis | |
| Isola et al. | Fully automatic nonrigid registration‐based local motion estimation for motion‐corrected iterative cardiac CT reconstruction | |
| Kim et al. | Cardiac motion correction based on partial angle reconstructed images in x‐ray CT | |
| Song et al. | Deep learning-based automatic segmentation of images in cardiac radiography: a promising challenge | |
| CN111540025B (zh) | 预测用于图像处理的图像 | |
| US10722178B2 (en) | Method and apparatus for motion correction in CT imaging | |
| Ko et al. | Rigid and non-rigid motion artifact reduction in X-ray CT using attention module | |
| CN112419175A (zh) | 一种共享权重的双区域生成对抗网络及其图像生成方法 | |
| US10013778B2 (en) | Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus | |
| Liu et al. | Generation of brain dual-energy CT from single-energy CT using deep learning | |
| WO2022094911A1 (zh) | 一种共享权重的双区域生成对抗网络及其图像生成方法 | |
| Su et al. | A deep learning method for eliminating head motion artifacts in computed tomography | |
| CN112991220A (zh) | 一种基于多重约束的卷积神经网络校正图像伪影的方法 | |
| JP2024507767A (ja) | コントラスト補正機械学習システムのための訓練データ合成器 | |
| CN117813055A (zh) | 用于从快速spect扫描和ct图像合成spect图像的多模态和多尺度特征聚合 | |
| Li et al. | A comprehensive survey on deep learning techniques in CT image quality improvement | |
| CN115965837A (zh) | 图像重建模型训练方法、图像重建方法及相关设备 | |
| Gong et al. | Deep learning enabled ultra‐fast‐pitch acquisition in clinical x‐ray computed tomography | |
| JP2024507766A (ja) | 機械学習によるコントラスト強調 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |