CN115965567A - 图像生成模型训练及图像生成方法、装置、设备和介质 - Google Patents

图像生成模型训练及图像生成方法、装置、设备和介质 Download PDF

Info

Publication number
CN115965567A
CN115965567A CN202111180703.3A CN202111180703A CN115965567A CN 115965567 A CN115965567 A CN 115965567A CN 202111180703 A CN202111180703 A CN 202111180703A CN 115965567 A CN115965567 A CN 115965567A
Authority
CN
China
Prior art keywords
image
image generation
generation model
modality
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111180703.3A
Other languages
English (en)
Inventor
邹莉娴
刘新
梁栋
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111180703.3A priority Critical patent/CN115965567A/zh
Priority to PCT/CN2021/136942 priority patent/WO2023060735A1/zh
Publication of CN115965567A publication Critical patent/CN115965567A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明实施例公开了一种图像生成模型训练及图像生成方法、装置、设备和介质，其中，方法包括：获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。解决了为获取感兴趣区域全面的信息，扫描获取不同模态的图像，耗时且成本高的问题，实现了基于一种模态的图像生成其他模态图像，提高获取多个模态图像的效率，节约获取多模态图像的时间成本。

Description

图像生成模型训练及图像生成方法、装置、设备和介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像生成模型训练及图像生成方法、装置、设备和介质。
背景技术
随着医学工程和计算机技术的发展,医学影像学为临床诊断提供了多种模态的医学图像，包括超声图像、磁共振图像、电子计算机断层扫描图像、正电子发射断层扫描图像等多种模态图像。不同模态的医学影像在时空分辨率方面各有优缺点，可以提供人体相关脏器和组织的不同信息。在临床中若是能够同时获取到感兴趣部位的多个模态图像，并对不同模态图像的信息进行集成，十分有利于医生对患者病情的诊断。
然而，不同模态的医学图像成像原理不同，分辨率不同，成像参数也不同。若分别扫描不同模态的图像，非常耗时，特别在时间有限的情况下，不利于实时观察诊断，而且不同模态的信息存在冗余性。
发明内容
本发明实施例提供了图像生成模型训练及图像生成方法、装置、设备和介质，以实现基于一种模态的图像生成其他模态图像，提高获取多个模态图像的效率，节约获取多模态图像的时间成本。
第一方面，本发明实施例提供了一种图像生成模型训练方法，该方法包括：
获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；
针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；
当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
第二方面，本发明实施例提供了一种图像生成方法，该方法包括：
获取原始模态图像，并确定所述原始模态图像的目标转换模态；
将所述原始模态图像输入至由任一实施例所述的图像生成模型训练方法训练得到的目标图像生成模型，得到目标转换模态图像。
第三方面，本发明实施例还提供了一种图像生成模型训练装置，该装置包括：
样本获取模块，用于获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；
样本数据输入模块，用于针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；
模型训练模块，用于当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
第四方面，本发明实施例还提供了一种图像生成装置，该装置包括：
图像数据获取模块，用于获取原始模态图像，并确定所述原始模态图像的目标转换模态；
图像生成模块，用于将所述原始模态图像输入至由任一实施例所述的图像生成模型训练方法训练得到的目标图像生成模型，得到目标转换模态图像。
第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的一种图像生成模型训练方法或图像生成方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的一种图像生成模型训练方法或图像生成方法。
上述发明中的实施例具有如下优点或有益效果：
本发明实施例，通过预先获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对预设图像生成模型进行有监督的模型训练；当预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。本发明实施例的技术方案，解决了为获取感兴趣区域全面的信息，扫描获取不同模态的图像，耗时且成本高的问题，实现了基于一种模态的图像生成其他模态图像，提高获取多个模态图像的效率，节约获取多模态图像的时间成本。
附图说明
图1是本发明实施例一提供的一种图像生成模型训练方法的流程图；
图2是本发明实施例一提供的一种图像生成模型结构示意图；
图3是本发明实施例二提供的一种图像生成方法流程图；
图4是本发明实施例二提供的一种图像生成实例的示意图；
图5是本发明实施例三提供的一种图像生成模型训练装置结构示意图；
图6是本发明实施例四提供的一种图像生成装置结构示意图；
图7是本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种图像生成模型训练方法的流程图，本实施例可适用于对生成不同模态医学图像的模型进行训练的情况。该方法可以由图像生成模型训练装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
如图1所示，图像生成模型训练方法包括以下步骤：
S110、获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对。
其中，不同模态的图像指通过不同的成像原理和方法进行成像的图像。在医学成像中，包括超声成像、磁共振成像、电子计算机断层扫描成像和正电子发射断层扫描成像等成像模态，不同模态的医学影像可以提供人体相关脏器和组织的不同信息。例如，超声成像可以连贯地、动态地观察脏器的运动和功能，可以追踪病变而不受其成像分层的限制，是一种对患者友价格好且普及面广的医学成像模式。磁共振成像则具有软组织分辨率高、成像参数多、图像信息量大和无电离损害等优点,已在临床广泛应用。但是，磁共振成像对病人体动敏感，易产生伪影，同时对钙化不敏感。电子计算机断层扫描成像是根据人体不同组织对X线的吸收与透过率的不同进行成像，具有高空间分辨率的特征，但对软组织的成像不如磁共振成像敏感，且具有电离辐射。正电子发射断层扫描成像是一种核成像技术(也称为分子成像)，可以显示体内代谢过程，多用于功能成像，但其同样存在电离辐射，且影像上的空间结构信息难以分辨。
而感兴趣部位通常是在临床影像中，病灶点所在的部位，是临床医生需要观察的部位，也即成像过程中的目标部位。根据不同模态图像的需求，针对每一个感兴趣部位的图像可以进行至少两种模态成像，并获取相应模态下的医学影像，以作为图像生成模型的训练样本。若是希望能够获取感兴趣区域的较为全面的结构组织信息，可以获取各感性区域全部成像模态下的图像。
进一步的，各模态图像之间可以两两组合得到多组图像对。示例性的，感兴趣部位的医学图像包括超声图像、磁共振图像、电子计算机断层扫描图像和正电子发射断层扫描图像。可以将超声图像和磁共振图像在组成一组图像对，将超声图像和电子计算机断层扫描图像组成一组图像对，将超声图像和正电子发射断层扫描图像组成一组图像对，将磁共振图像和电子计算机断层扫描图像组成一组图像对，将磁共振图像和正电子计算机断层扫描图像组成一组图像对，将电子计算机断层扫描图像和正电子计算机断层扫描图像组成一组图像对。
S120、针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练。
在每一个图像对中，第一模态图像可以是图像对中的任意一个图像，那么第二模态图像则是图像对中的另外一个图像。可以根据后续图像生成的需求确认第一模态图像。示例性的，在临床中，通常获取超声图像所耗的时间较少，且成本较低，可以在包含超声成像模态图像的图像对中，将超声图像作为第一模态图像，另一图像作为第二模态图像。或者，针对第一模态图像和第二模态图像的不同情况，同时训练两个图像生成模型。
那么，可以理解的是，第一模态图像和第二模态图像分别是超声图像、磁共振图像、电子计算机断层扫描图像或正电子发射断层扫描图像等图像中的一种，且第一模态图像和第二模态图像是不同模态的图像。
进一步的，在一种实施方式中，在对预设图像生成模型进行有监督的模型训练之前，将第一模态图像向第二模态图像配准，使第一模态图像所在的空间坐标系与第二模态图像所在的空间坐标系保持一致。然后，将配准后的第一模态图像作为预设图像生成模型的输入数据，输入到所述预设图像生成模型中，再进行模型训练。图像的空间配准可以使用傅里叶变换法、仿射变换法、最大互信息法或者尺度不变特征变换法等方法进行空间变换。或者还可以通过原始图像和其空间配准图像组成样本对，对图像配准模型进行训练，训练完成后，可以直接将第一模态图像输入到训练好的图像配准模型中，由图像配准模型输出得到坐标转换后的第一模态图像的配准图。
预设图像生成模型可以是卷积神经网络，也可以是非卷积神经网络，任意可以进行图像特性提取和学习，并进一步输出跨模态图像的深度学习神经网络结构皆可以。示例性的，预设图像生成模型的结构可参考图2所示的结构。在图2中，预设图像生成模型包括输入层、卷积层、残差密度网络(Residual Dense Net，RDN)、输出连接层和输出层。第一模态图像进过输入层实现图像输入；然后，经过两个卷积层进行浅层特征提取。提取的特征作为后面残差密度网络中的残差密度块(Residual Dense Block，RDB)的输入，每个残差密度模块中有若干个卷积层。每个卷积层的输出不仅输入到下一个卷积层，同时输入到RDB后续所有卷积层，构成密度连接。密度连接的目的是，使得深层卷积层和浅层卷积层均发挥作用。再将这些卷积层的输出连接(concatenate)在一起进行融合配准，后再经过一个卷积层和残差连接进行全局残差学习。最终将学习的结果再进行一个卷积层进一步进行深层的特征提取，最后由输出层输出图像，即为由第一模态图像转换后的第二模态图像。
S130、当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
有监督的学习过程是通过已知输入和输出的训练样本去训练预设图像生成模型，从而得到一个最优的图像生成模型，即目标图像生成模型。在模型训练的过程中，通过比较每一次输出的结果和对应的已知输出图像进行比较，计算预设图像生成模型的损失函数，当损失函数未收敛时，调整预设图像生成模型中的参数继续学习，直到损失函数收敛，满足预设条件，确定预设图像生成模型的参数，得到目标图像生成模型，完成训练过程。
那么，该目标图像生成模型便可以用于由第一模态图像生成第二模态图像。从而，在采集到第一模态的图像后，无需再进行临床上的图像扫描，通过该目标图像生成模型即可获得第二模态的医学图像。
本实施例的技术方案，预先获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对预设图像生成模型进行有监督的模型训练；当预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。本发明实施例的技术方案，解决了为获取感兴趣区域全面的信息，扫描获取不同模态的图像，耗时且成本高的问题，实现了基于一种模态的图像生成其他模态图像，提高获取多个模态图像的效率，节约获取多模态图像的时间成本。
实施例二
图3为本发明实施例二提供的一种图像生成方法的流程图，本实施例与上述实施例中的图像生成模型训练方法属于同一个发明构思，进一步的描述了利用已经训练得到的图像生成模型生成目标模态图像的过程。该方法可以由图像生成装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
如图3所示，图像生成方法包括以下步骤：
S210、获取原始模态图像，并确定所述原始模态图像的目标转换模态。
其中，原始模态图像是指在临床上已经获取到的一种模态的图像，可以是超声图像、磁共振图像、电子计算机断层扫描图像或正电子发射断层扫描图像等图像中的一种模态的图像。目标转换模态则是希望根据原始模态图像生成的目标图像的模态，可以是一种或多种与原始模态图像不同的模态。
S220、将所述原始模态图像输入至由任一实施例所述的图像生成模型训练方法训练得到的目标图像生成模型，得到目标转换模态图像。
其中，目标图像生成模型是根据上述实施例中的图像生成模型训练方法训练得到的目标图像生成模型，训练目标图像生成模型时的训练样本是根据原始模态和目标转换模态确定的。将原始模态图像输入到训练好的目标图像生成模型中，便可有由目标图像生成模型生成目标转换模态图像。
进一步的，当目标转换模态包括多个目标模态时，可以预先训练多个目标图像生成模型，将原始模态图像同时输入到多个训练好的目标图像生成模型中，以得到多个目标转换模态图像。
或者，还可以预先训练得到多个目标模态间的图像生成模型，并将多个目标模态间的图像生成模型与目标图形生成模型级联得到更新后的目标图像生成模型；将所述原始模态图像输入至所述更新后的目标图像生成模型，得到所述多个目标模态的图像。示例性的，目标转换模态包括第一模态、第二模态和第三模态，可以预先训练由原始模态图像生成第一模态图像的第一图像生成模型，训练由第一模态图像生成第二模态图像的第二图像生成模型，训练由第二模态图像生成第三模态图像的第二图像生成模型。再进一步的，将第一图像生成模型、第二图像生成模型和第三图像生成模型级联，得到新的目标图像生成模型。将原始模态图像输入到这一新的目标图像生成模型，便可以依次得到第一模态图像、第二模态图像和第三模态图像。
在一个具体的实例中，如图4所示，模态一图像为原始模态图像，是超声图像。模态二图像是目标转换模态图像，是磁共振图像。将模态一图像输入到深度学习神经网络，即目标图像生成模型中，便可以由模型输出得到模态二图像。
本实施例的技术方案，通过预先训练由原始模态图像生成目标转换模态图像的目标图像生成模型，将原始模态图像输入到目标图像生成模型中，从而得到目标转换模态下的图像。本发明实施例的技术方案，解决了为获取感兴趣区域全面的信息，扫描获取不同模态的图像，耗时且成本高的问题，实现了基于一种模态的图像生成其他模态图像，提高获取多个模态图像的效率，节约获取多模态图像的时间成本。
实施例三
图5为本发明实施例三提供的图像生成模型训练装置的结构示意图，本实施例可适用于对生成不同模态医学图像的模型进行训练的情况，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
如图5所示，图像生成模型训练装置包括：样本获取模块310、样本数据输入模块320和模型训练模块330。
样本获取模块310，用于获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；样本数据输入模块320，用于针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；模型训练模块330，用于当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
本实施例的技术方案，预先获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对预设图像生成模型进行有监督的模型训练；当预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。本发明实施例的技术方案，解决了为获取感兴趣区域全面的信息，扫描获取不同模态的图像，耗时且成本高的问题，实现了基于一种模态的图像生成其他模态图像，提高获取多个模态图像的效率，节约获取多模态图像的时间成本。
在一种可选的实施方式中，图像生成模型训练装置还包括图像配准模块，用于在对所述预设图像生成模型进行有监督的模型训练之前，将所述第一模态图像向所述第二模态图像配准。
相应的，样本数据输入模块320还用于：将配准后的第一模态图像作为所述预设图像生成模型的输入数据，输入到所述预设图像生成模型中。
在一种可选的实施方式中，所述图像配准模块具体用于：
采用预设配准算法或预训练的图像配准神经网络，将所述第一模态图像向所述第二模态图像配准。
在一种可选的实施方式中，所述第一模态图像和所述第二模态图像分别是超声图像、磁共振图像、电子计算机断层扫描图像或正电子发射断层扫描图像中的一种，且所述第一模态图像和所述第二模态图像是不同模态的图像。
本发明实施例所提供的图像生成模型训练装置可执行本发明任意实施例所提供的图像生成模型训练方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的图像生成装置的结构示意图，本实施例可适用于基于一种模态图像生成不同模态医学图像的情况，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
如图6所示，图像生成装置包括：图像数据获取模块410和图像生成模块420。
图像数据获取模块410，用于获取原始模态图像，并确定所述原始模态图像的目标转换模态；图像生成模块420，用于将所述原始模态图像输入至由任一实施例所述的图像生成模型训练方法训练得到的目标图像生成模型，得到目标转换模态图像。
本实施例的技术方案，通过预先训练由原始模态图像生成目标转换模态图像的目标图像生成模型，将原始模态图像输入到目标图像生成模型中，从而得到目标转换模态下的图像。本发明实施例的技术方案，解决了为获取感兴趣区域全面的信息，扫描获取不同模态的图像，耗时且成本高的问题，实现了基于一种模态的图像生成其他模态图像，提高获取多个模态图像的效率，节约获取多模态图像的时间成本。
可选的，图像生成模块420还用于：当所述目标转换模态包括多个目标模态时，预先训练得到所述多个目标模态间的图像生成模型，并将所述多个目标模态间的图像生成模型与所述目标图形生成模型级联得到更新后的目标图像生成模型；
将所述原始模态图像输入至所述更新后的目标图像生成模型，得到所述多个目标模态的图像。
本发明实施例所提供的图像生成装置可执行本发明任意实施例所提供的图像生成方法，具备执行方法相应的功能模块和有益效果。
实施例五
图7为本发明实施例五提供的一种计算机设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图7显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。计算机设备12可以任意具有计算能力的终端设备，如智能控制器及服务器、手机等终端设备。
如图7所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图7中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的图像生成模型训练方法，该方法包括：
获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；
针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；
当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如还可以实现本发实施例所提供的图像生成方法，该方法包括：
获取原始模态图像，并确定所述原始模态图像的目标转换模态；
将所述原始模态图像输入至由任一实施例所述的图像生成模型训练方法训练得到的目标图像生成模型，得到目标转换模态图像。
实施例六
本实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的图像生成模型训练方法，包括：
获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；
针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；
当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
此外，本实施例提供的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时还可以实现如本发明任意实施例所提供的图像生成方法，包括：
获取原始模态图像，并确定所述原始模态图像的目标转换模态；
将所述原始模态图像输入至由任一实施例所述的图像生成模型训练方法训练得到的目标图像生成模型，得到目标转换模态图像。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像生成模型训练方法，其特征在于，所述方法包括：
获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；
针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；
当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
2.根据权利要求1所述的方法，其特征在于，在对所述预设图像生成模型进行有监督的模型训练之前，所述方法还包括：
将所述第一模态图像向所述第二模态图像配准；
将配准后的第一模态图像作为所述预设图像生成模型的输入数据，输入到所述预设图像生成模型中。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一模态图像向所述第二模态图像配准，包括：
采用预设配准算法或预训练的图像配准神经网络，将所述第一模态图像向所述第二模态图像配准。
4.根据权利要求1-3中任一所述的方法，其特征在于，所述第一模态图像和所述第二模态图像分别是超声图像、磁共振图像、电子计算机断层扫描图像或正电子发射断层扫描图像中的一种，且所述第一模态图像和所述第二模态图像是不同模态的图像。
5.一种图像生成方法，其特征在于，所述方法包括：
获取原始模态图像，并确定所述原始模态图像的目标转换模态；
将所述原始模态图像输入至由权利要求1-4中任一所述的图像生成模型训练方法训练得到的目标图像生成模型，得到目标转换模态图像。
6.根据权利要求5所述的方法，其特征在于，当所述目标转换模态包括多个目标模态时，所述方法还包括：
预先训练得到所述多个目标模态间的图像生成模型，并将所述多个目标模态间的图像生成模型与所述目标图形生成模型级联得到更新后的目标图像生成模型；
将所述原始模态图像输入至所述更新后的目标图像生成模型，得到所述多个目标模态的图像。
7.一种图像生成模型训练装置，其特征在于，所述装置包括：
样本获取模块，用于获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；
样本数据输入模块，用于针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；
模型训练模块，用于当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
8.一种图像生成装置，其特征在于，所述装置包括：
图像数据获取模块，用于获取原始模态图像，并确定所述原始模态图像的目标转换模态；
图像生成模块，用于将所述原始模态图像输入至由权利要求1-4中任一所述的图像生成模型训练方法训练得到的目标图像生成模型，得到目标转换模态图像。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的图像生成模型训练方法或图像生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的图像生成模型训练方法或图像生成方法。
CN202111180703.3A 2021-10-11 2021-10-11 图像生成模型训练及图像生成方法、装置、设备和介质 Pending CN115965567A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111180703.3A CN115965567A (zh) 2021-10-11 2021-10-11 图像生成模型训练及图像生成方法、装置、设备和介质
PCT/CN2021/136942 WO2023060735A1 (zh) 2021-10-11 2021-12-10 图像生成模型训练及图像生成方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111180703.3A CN115965567A (zh) 2021-10-11 2021-10-11 图像生成模型训练及图像生成方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN115965567A true CN115965567A (zh) 2023-04-14

Family

ID=85894827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111180703.3A Pending CN115965567A (zh) 2021-10-11 2021-10-11 图像生成模型训练及图像生成方法、装置、设备和介质

Country Status (2)

Country Link
CN (1) CN115965567A (zh)
WO (1) WO2023060735A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285200B (zh) * 2018-08-23 2023-03-14 上海连叶智能科技有限公司 一种基于人工智能的多模态医学影像的转换方法
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质
US11354791B2 (en) * 2018-12-19 2022-06-07 General Electric Company Methods and system for transforming medical images into different styled images with deep neural networks
CN111724450B (zh) * 2019-03-20 2024-07-26 上海科技大学 基于深度学习的医学图像重构系统、方法、终端、及介质
CN112819687B (zh) * 2021-01-21 2023-07-07 浙江大学 基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2023060735A1 (zh) 2023-04-20

Similar Documents

Publication Publication Date Title
CN109697741B (zh) 一种pet图像重建方法、装置、设备及介质
CN109961491B (zh) 多模态图像截断补偿方法、装置、计算机设备和介质
CN109493328B (zh) 医学图像显示方法、查看设备以及计算机设备
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
CN111369562B (zh) 图像处理方法、装置、电子设备及存储介质
CN111968110B (zh) Ct成像方法、装置、存储介质及计算机设备
CN111080583B (zh) 医学图像检测方法、计算机设备和可读存储介质
CN112419378B (zh) 医学图像配准方法、电子设备和存储介质
CN111598989B (zh) 一种图像渲染参数设置方法、装置、电子设备及存储介质
CN115830017B (zh) 基于图文多模态融合的肿瘤检测系统、方法、设备及介质
CN115994902A (zh) 医学图像分析方法、电子设备及存储介质
CN111325714A (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN114092475B (zh) 病灶长径确定方法、图像标注方法、装置及计算机设备
CN114943714A (zh) 医学图像处理系统、装置、电子设备及存储介质
CN113888566B (zh) 目标轮廓曲线确定方法、装置、电子设备以及存储介质
CN112150571A (zh) 一种图像运动伪影消除方法、装置、设备及存储介质
CN113538209A (zh) 一种多模态医学影像配准方法、配准系统、计算设备和存储介质
CN115965837A (zh) 图像重建模型训练方法、图像重建方法及相关设备
Zhang et al. Enhancing the depth perception of DSA images with 2D–3D registration
CN110852993A (zh) 一种造影剂作用下的成像方法与设备
CN115761134A (zh) 孪生模型的生成方法、系统、核磁共振装置和介质
WO2022227193A1 (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN115965567A (zh) 图像生成模型训练及图像生成方法、装置、设备和介质
CN113052930A (zh) 一种胸部dr双能量数字减影图像生成方法
CN114037830A (zh) 增强图像生成模型的训练方法、图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination