CN111814891A - 医学图像合成方法、装置及存储介质 - Google Patents

医学图像合成方法、装置及存储介质 Download PDF

Info

Publication number
CN111814891A
CN111814891A CN202010681535.5A CN202010681535A CN111814891A CN 111814891 A CN111814891 A CN 111814891A CN 202010681535 A CN202010681535 A CN 202010681535A CN 111814891 A CN111814891 A CN 111814891A
Authority
CN
China
Prior art keywords
image
source
target domain
domain
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010681535.5A
Other languages
English (en)
Inventor
苏康
李雪
于丹
来关军
孙箫宇
王澈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Neusoft Education Technology Group Co ltd
Original Assignee
Dalian Neusoft Education Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Neusoft Education Technology Group Co ltd filed Critical Dalian Neusoft Education Technology Group Co ltd
Priority to CN202010681535.5A priority Critical patent/CN111814891A/zh
Publication of CN111814891A publication Critical patent/CN111814891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种医学图像合成方法、装置及存储介质，该方法包括：获取源域图像数据集和目标域图像数据集，构建源生成式对抗网络，并设定网络损失函数；利用源域数据集对源生成式对抗网络进行训练，得到源域模型；利用聚类算法对目标域图像数据集中的目标域图像聚类；利用聚类后的目标域图像数据集对源域模型进行迁移学习，得到目标域模型；利用目标域模型生成合成图像。该方法中，对于CT图像的生成不仅依赖于小样本的目标域CT图像，而且结合源域图像的先验性知识，有选择地保留源域模型的大部分特征作为目标域模型的基础，实现了极少量CT训练数据条件下合成大量的高质量仿真CT图像的目的。

Description

医学图像合成方法、装置及存储介质
技术领域
本发明涉及图像处理技术领域，具体而言，尤其涉及医学图像合成方法、装置及存储介质。
背景技术
随着人工智能的发展，深度学习技术已成功在医疗影像分析方面得到广泛应用。然而，深度学习网络的训练，往往依赖海量的带有标签数据，从而避免网络过拟合，且数据量越大，训练出来的网络准确率度越高。这种海量数据的先决条件限制了人工智能辅助医疗影像分析。例如，X射线计算机断层成像(Computed Tomography CT)存在辐射副作用且仪器价格昂贵，导致了CT图像数据的稀缺，不利于人工智能自动处理诊断。
为了增加数据集的规模，常用的方法是数据增强。传统的数据增强方法是对图像进行裁剪、平移和旋转等来扩大数据集的规模，该方法能够在一定程度上提升网络的泛化能力，但是不能够提供符合数据集分布特征的其他样本，因此提供的样本多样性不足。
另一方面，现有的生成式对抗网络(GAN,Generative Adversarial Networks)是通过生成器和判别器之间相互博弈，训练以期望达到纳什均衡的过程。GAN可以创造性地生成原始数据中不存在的数据，可是GAN网络的训练依赖样本的数据量，一般要在1万样本左右才能生成逼真的图像。而CT图像数据的稀缺，限制了GAN技术的直接使用。
发明内容
本发明的发明目的在于提出一种医学图像合成方法、装置及存储介质，以克服目前依赖大量数据训练深度神经GAN网络，以及出现的过拟合问题。
本发明提供了如下技术方案：
一方面，本发明提供了一种医学图像合成方法，所述方法包括：
获取源域图像数据集和目标域图像数据集，所述目标域图像为CT图像；所述源域图像为与所述CT图像存在紧密联系的图像；
构建源生成式对抗网络，并设定网络损失函数；
利用所述源域数据集对所述源生成式对抗网络进行训练，得到源域模型；
利用聚类算法对所述目标域图像数据集中的目标域图像聚类；
利用聚类后的目标域图像数据集对所述源域模型进行迁移学习，得到目标域模型；
利用所述目标域模型生成合成图像。
优选地，获取源域图像数据集和目标域图像数据集之后，还包括：对所述源域图像数据集和所述目标域图像数据集中的图像进行预处理，所述预处理包括：图像裁剪、图像窗口选择、格式转换和直方图均衡化。
优选地，利用所述源域数据集对所述源生成式对抗网络进行训练，得到源域模型，包括：采用渐进式生成的方式对所述源生成式对抗网络进行训练，图像从低分辨率到高分辨转换以双线性插值的形式完成。
优选地，所述源生成式对抗网络以渐进式对抗生成网络作为网络模型，以梯度惩罚的沃瑟斯坦损耗为网络损失函数；所述损失函数为：
Figure BDA0002586020590000021
其中，D和G分别代表判别器和生成器，y～P(data)表示y服从于原始数据data的分布，x～P(x)表示x服从于假设的高斯分布，D(y)表示判别器D的损耗值，G(x)表示生成器G的损耗值，V(G,D)表示联合判别器和生成器的损耗值。
优选地，利用聚类后的目标域图像数据集对所述源域模型进行迁移学习，得到目标域模型，包括：
保留所述源域模型的部分结构和模型参数；
利用所述目标域图像对所述源域网络微调训练，更新模型参数，获得迁移后的目标域模型。
优选地，所述目标域图像为脑部CT图像，所述源域图像为脑部磁共振成像图像。
优选地，所述利用所述目标域模型生成合成图像，包括：利用所述目标域模型将多维高斯分布采样得到的数据点转换为生成的CT图像，所述生成的CT图像为合成图像。
另一方面，本发明还提供了一种医学图像合成装置，所述装置包括：
获取单元，用于获取源域图像数据集和目标域图像数据集，所述目标域图像为CT图像；所述源域图像为与所述CT图像存在紧密联系的图像；
构建单元，用于构建源生成式对抗网络，并设定网络损失函数；
训练单元，用于利用所述源域数据集对所述源生成式对抗网络进行训练，得到源域模型；
聚类单元，用于利用聚类算法对所述目标域图像数据集中的目标域图像聚类；
迁移单元，用于利用聚类后的目标域图像数据集对所述源域模型进行迁移学习，得到目标域模型；
生成单元，用于利用所述目标域模型生成合成图像。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有包括计算机程序，其中，所述计算机程序运行时，执行上述的医学图像合成方法。
本发明提供的技术方案具有以下有益效果：
1、本发明提供的医学图像合成方法、装置及存储介质中，对源域模型进行迁移学习，保留源域GAN网络的大部分特征，这些特征在小样本数据集上难以学习到，作为先验性知识助于目标域图像的生成。保留大部分特征而不是重新训练，可以避免模型出现过拟合。
2、本发明提供的医学图像合成方法、装置及存储介质中，源域的选择和目标域存在紧密的相关度，如，采用脑部MRI的图像作为源域利于脑部CT目标域图像生成，源域和目标域图像整体轮廓比较接近，而且MRI成像在软组织方面细节特性可为CT图像细节不足作补充，利于生成的图像更为逼真。
3、本发明提供的医学图像合成方法、装置及存储介质中，源域GAN网络构建选择渐进式生成的GAN网络，渐进式生成的GAN网络从低分辨率图像逐步生成高分辨率图像，利于生成高分辨率的高质量CT图像。
4、本发明提供的医学图像合成方法、装置及存储介质中，源GAN的判别器满足一阶利普希茨连续条件(Lipschiz条件)，以梯度惩罚的沃瑟斯坦损耗(Wasserstein Loss)作为损失函数的一部分利于模型收敛和稳定，使得GAN网络训练过程更为稳定，而且可以解决网络训练过程中的梯度消失问题，确保生成样本的多样性。
5、本发明提供的医学图像合成方法、装置及存储介质中，对目标域CT图像作聚类划分，使得聚类之后的数据具有更小的类内差异，利于提升迁移模型表现效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的一种医学图像合成方法流程示意图；
图2为本发明一个实施例提供的真实的脑部CT图像和合成的脑部CT图像的示意图；
图3为本发明一个实施例提供的真实的脑部MRI图像和合成的脑部MRI图像的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明提供了医学图像合成方法、装置及存储介质，基于迁移学习的思想，把同CT图像存在一定联系的源域GAN网络作为先验性知识，从而在极少量CT训练数据条件下仍旧可以生成大量高质量的CT仿真图像，从而有效提高人工智能自动处理诊断的准确性和可靠性。
参见图1，其示出了本发明实施例提供的一种医学图像合成方法的流程示意图，该方法包括以下步骤：
S1、获取源域图像数据集和目标域图像数据集。
其中，目标域图像为CT图像；源域图像为与CT图像存在紧密联系的图像。选择与目标域CT图像存在紧密联系的源域数据集用于辅助CT图像生成。
可选地，在获取数据集之后可以对源域图像数据集和目标域图像数据集中的图像进行预处理，其中，预处理包括：图像裁剪、图像窗口选择、格式转换和直方图均衡化。通过预处理可以改善图像数据质量，增强部分图像特征便于后续对抗生成网络对数据进行训练。
S2、构建源GAN网络，设定网络损失函数。
源GAN网络构建要综合考虑图像特点、硬件条件和训练时间三方面因素。
优选地，可以以渐进式对抗生成网络，如StyleGAN(style-based generatorarchitecture for generative adversarial networks，基于风格的GAN生成器架构)作为网络模型，以梯度惩罚的沃瑟斯坦损耗为网络损失函数；所述损失函数为
Figure BDA0002586020590000061
其中，D和G分别代表判别器和生成器，y～P(data)表示y服从于原始数据data的分布，x～P(x)表示x服从于假设的高斯分布，D(y)表示判别器D的损耗值，G(x)表示生成器G的损耗值，V(G,D)表示联合判别器和生成器的损耗值。
以梯度惩罚的Wasserstein Loss作为损失函数，利于模型收敛和稳定，使得GAN网络训练过程更为稳定，而且可以解决网络训练过程中的梯度消失问题，确保生成样本的多样性。
S3、利用源域数据集对源生成式对抗网络进行训练，得到源域模型。
源域模型的训练采用渐进式生成的方式，即先生成4*4尺寸大小的图像，然后生成8*8、16*16、32*32、64*64等，直到图像的分辨率达到256*256以上。图像从低分辨率到高分辨转换以双线性插值的形式完成，训练过程中尽可能地增大训练块的大小从而使得训练更为稳定。
S4、利用聚类算法对目标域图像数据集中的目标域图像聚类。
CT图像是逐层扫描完成，不同层的人体组织图像分布差异大。对目标域CT图像作聚类划分，使得聚类之后的数据具有更小的类内差异，提升迁移模型表现效果。
S5、利用聚类后的目标域图像数据集对源域模型进行迁移学习，得到目标域模型。
在迁移学习过程中，保留源域模型的大部分特征，作为目标域数据的先验性知识。然后，将极少量(约一千张)的CT图像输入到源域GAN网络，更新模型参数，获得迁移后的目标域模型。特别地，更新模型参数过程中保持低的学习率更新网络权值。
S6、利用目标域模型生成的CT图像作为输出的合成图像。
具体地，利用目标域模型将多维高斯分布采样得到的数据点转换为生成的CT图像。目标域模型生成的CT图像是输出的合成图像。
本发明实施例提供的医学图像合成方法中，与现有技术相比，对于CT图像的生成不仅依赖于小样本的目标域CT图像，而且结合源域图像的先验性知识，有选择地保留源域模型的大部分特征作为目标域模型的基础，实现了极少量(约一千张)CT训练数据条件下合成大量的高质量仿真CT图像的目的。克服了目前依赖大量数据训练深度神经GAN网络，以及出现的过拟合问题。
下面通过CT脑部图像合成的案例，具体说明基于迁移学习GAN网络的小样本CT图像合成方法。
在该实例中共有693位患者的CT影像数据，其中选择的目标域CT图像共5279张。
步骤一：采用脑部MRI的图像作为源域，源域的数据集通常要和目标域之间存在一定联系。从而使得GAN合成能够借助先验性的知识。源域的数据集大小要远大于目标域。
步骤二：选择渐进式生成对抗StyleGAN网络模型，以基于梯度惩罚的WassersteinLoss为损失函数。训练过程中从低分辨率图像逐渐生成高分辨率图像，即从8*8，16*16，32*32，64*64，128*128，一直到256*256。训练过程训练块的大小为8。
步骤三：训练过程结束，可获得源域模型模型。通过源域模型可生成训练数据分布之外的MRI图像影像。
图2示出了一例真实的脑部CT影像和合成脑部CT影响对比图。其中，图2左图为真实的脑部CT图像，右图为合成的脑部CT图像。可以发现选用的渐进式生成对抗网络有着非常逼真的合成效果。
步骤四：脑部CT图像是以CT扫描仪器逐层扫描完成，因此不同扫描层的CT图像具备较大的类间差异。通过聚类算法，对CT图像聚成4类。(每类数据约一千张)。
步骤五：在步骤三得到的源域网络模型基础上，使用分层后的CT影像数据作为网络模型的输入，使用迁移学习的方法，优化调整源域模型，直到网络稳定且收敛。
步骤六：使用步骤五得到的优化后的模型，作为目标域模型。通过目标域模型可以得到高质量的CT仿真影像，见图3，其中图3左图为真实的脑部MRI图像，右图为合成的脑部MRI图像。
对应于本发明实施例提供的医学图像合成方法，本发明还提供了一种医学图像合成装置，该装置包括：
获取单元，用于获取源域图像数据集和目标域图像数据集；
其中，目标域图像为CT图像；源域图像为与CT图像存在紧密联系的图像；
构建单元，用于构建源生成式对抗网络，并设定网络损失函数；
训练单元，用于利用源域数据集对源生成式对抗网络进行训练，得到源域模型；
聚类单元，用于利用聚类算法对目标域图像数据集中的目标域图像聚类；
迁移单元，用于利用聚类后的目标域图像数据集对源域模型进行迁移学习，得到目标域模型；
生成单元，用于利用目标域模型生成合成图像。
本发明实施例提供的医学图像合成装置中，与现有技术相比，对于CT图像的生成不仅依赖于小样本的目标域CT图像，而且结合源域图像的先验性知识，有选择地保留源域模型的大部分特征作为目标域模型的基础，实现了极少量CT训练数据(约一千张)条件下合成大量的高质量仿真CT图像的目的。克服了目前依赖大量数据训练深度神经GAN网络，以及出现的过拟合问题。
对应于本发明实施例提供的医学图像合成方法，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有包括计算机程序，其中，计算机程序运行时，执行上述医学图像合成方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种医学图像合成方法，其特征在于，所述方法包括：
获取源域图像数据集和目标域图像数据集，所述目标域图像为CT图像；所述源域图像为与所述CT图像存在紧密联系的图像；
构建源生成式对抗网络，并设定网络损失函数；
利用所述源域数据集对所述源生成式对抗网络进行训练，得到源域模型；
利用聚类算法对所述目标域图像数据集中的目标域图像聚类；
利用聚类后的目标域图像数据集对所述源域模型进行迁移学习，得到目标域模型；
利用所述目标域模型生成合成图像。
2.如权利要求1所述的方法，其特征在于，获取源域图像数据集和目标域图像数据集之后，还包括：对所述源域图像数据集和所述目标域图像数据集中的图像进行预处理，所述预处理包括：图像裁剪、图像窗口选择、格式转换和直方图均衡化。
3.如权利要求1所述的方法，其特征在于，利用所述源域数据集对所述源生成式对抗网络进行训练，得到源域模型，包括：采用渐进式生成的方式对所述源生成式对抗网络进行训练，图像从低分辨率到高分辨转换以双线性插值的形式完成。
4.如权利要求3所述的方法，其特征在于，所述源生成式对抗网络以渐进式对抗生成网络作为网络模型，以梯度惩罚的沃瑟斯坦损耗为网络损失函数；所述损失函数为：
Figure FDA0002586020580000011
其中，D和G分别代表判别器和生成器，y～P(data)表示y服从于原始数据data的分布，x～P(x)表示x服从于假设的高斯分布，D(y)表示判别器D的损耗值，G(x)表示生成器G的损耗值，V(G,D)表示联合判别器和生成器的损耗值。
5.如权利要求1所述的方法，其特征在于，所述利用聚类后的目标域图像数据集对所述源域模型进行迁移学习，得到目标域模型，包括：
保留所述源域模型的部分结构和模型参数；
利用所述目标域图像对所述源域网络微调训练，更新模型参数，获得迁移后的目标域模型。
6.如权利要求1所述的方法，其特征在于，所述目标域图像为脑部CT图像，所述源域图像为脑部磁共振成像图像。
7.如权利要求1所述的方法，其特征在于，利用所述目标域模型生成合成图像，包括：利用所述目标域模型将多维高斯分布采样得到的数据点转换为生成的CT图像，所述生成的CT图像为合成图像。
8.一种医学图像合成装置，其特征在于，所述装置包括：
获取单元，用于获取源域图像数据集和目标域图像数据集，所述目标域图像为CT图像；所述源域图像为与所述CT图像存在紧密联系的图像；
构建单元，用于构建源生成式对抗网络，并设定网络损失函数；
训练单元，用于利用所述源域数据集对所述源生成式对抗网络进行训练，得到源域模型；
聚类单元，用于利用聚类算法对所述目标域图像数据集中的目标域图像聚类；
迁移单元，用于利用聚类后的目标域图像数据集对所述源域模型进行迁移学习，得到目标域模型；
生成单元，用于利用所述目标域模型生成合成图像。
9.一种计算机可读存储介质，所述计算机可读存储介质中存储有包括计算机程序，其中，所述计算机程序运行时，执行所述权利要求1-7任一项所述的医学图像合成方法。
CN202010681535.5A 2020-07-15 2020-07-15 医学图像合成方法、装置及存储介质 Pending CN111814891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010681535.5A CN111814891A (zh) 2020-07-15 2020-07-15 医学图像合成方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010681535.5A CN111814891A (zh) 2020-07-15 2020-07-15 医学图像合成方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111814891A true CN111814891A (zh) 2020-10-23

Family

ID=72866352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010681535.5A Pending CN111814891A (zh) 2020-07-15 2020-07-15 医学图像合成方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111814891A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022120661A1 (zh) * 2020-12-09 2022-06-16 深圳先进技术研究院 一种用于多任务医学图像合成的先验指导型网络
CN116385329A (zh) * 2023-06-06 2023-07-04 之江实验室 基于特征融合的多层知识蒸馏医学影像生成方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110414780A (zh) * 2019-06-18 2019-11-05 东华大学 一种基于生成对抗网络的金融交易负样本生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110414780A (zh) * 2019-06-18 2019-11-05 东华大学 一种基于生成对抗网络的金融交易负样本生成方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
VU-HOANG TRAN ET AL.: "Domain Adaptation Meets Disentangled Representation Learning and Style Transfer", 《2019 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN AND CYBERNETICS》, pages 2998 - 3005 *
姜枫: "基于生成对抗网络的图像渐进式生成算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 22 - 24 *
李卓蓉: "生成式对抗网络研究及其应用", 《中国博士学位论文全文数据库 信息科技辑》, pages 55 - 63 *
毛潇锋: "基于对抗学习的深度视觉域适应方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 32 - 37 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022120661A1 (zh) * 2020-12-09 2022-06-16 深圳先进技术研究院 一种用于多任务医学图像合成的先验指导型网络
US11915401B2 (en) 2020-12-09 2024-02-27 Shenzhen Institutes Of Advanced Technology Apriori guidance network for multitask medical image synthesis
CN116385329A (zh) * 2023-06-06 2023-07-04 之江实验室 基于特征融合的多层知识蒸馏医学影像生成方法和装置
CN116385329B (zh) * 2023-06-06 2023-08-29 之江实验室 基于特征融合的多层知识蒸馏医学影像生成方法和装置

Similar Documents

Publication Publication Date Title
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN109598722B (zh) 基于递归神经网络的图像分析方法
CN110288609B (zh) 一种注意力机制引导的多模态全心脏图像分割方法
CN110084863A (zh) 一种基于生成对抗网络的多域图像转换方法与系统
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN109754403A (zh) 一种ct图像内的肿瘤自动分割方法及系统
CN109344833A (zh) 医学图像分割方法、分割系统及计算机可读存储介质
CN116012344B (zh) 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
CN111402278B (zh) 分割模型训练方法、图像标注方法及相关装置
CN116823625B (zh) 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
CN111814891A (zh) 医学图像合成方法、装置及存储介质
CN106127783A (zh) 一种基于深度学习的医疗影像识别系统
JP2022077991A (ja) 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、モデルトレーニング装置、およびトレーニング方法
CN116612174A (zh) 软组织的三维重建方法、系统及计算机存储介质
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
Do et al. 7T MRI super-resolution with Generative Adversarial Network
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
Zhao et al. MPSHT: multiple progressive sampling hybrid model multi-organ segmentation
CN109934796A (zh) 一种基于深度集成学习的器官自动勾画方法
CN116894783A (zh) 基于时变约束的对抗生成网络模型的金属伪影去除方法
Krishna et al. Image synthesis for data augmentation in medical CT using deep reinforcement learning
CN110570416B (zh) 多模态心脏图像的可视化和3d打印的方法
CN115713535B (zh) 图像分割模型确定方法以及图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province

Applicant after: Neusoft Education Technology Group Co.,Ltd.

Address before: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province

Applicant before: Dalian Neusoft Education Technology Group Co.,Ltd.