CN116664713A - 一种超声造影图像生成模型的训练方法及图像的生成方法 - Google Patents

一种超声造影图像生成模型的训练方法及图像的生成方法 Download PDF

Info

Publication number
CN116664713A
CN116664713A CN202310887447.4A CN202310887447A CN116664713A CN 116664713 A CN116664713 A CN 116664713A CN 202310887447 A CN202310887447 A CN 202310887447A CN 116664713 A CN116664713 A CN 116664713A
Authority
CN
China
Prior art keywords
image
training
ultrasonic
network
contrast image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310887447.4A
Other languages
English (en)
Other versions
CN116664713B (zh
Inventor
石一磊
曹旭
胡敬良
牟立超
侯雨
陈咏虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Maideyingshen Information Technology Co ltd
Original Assignee
Maide Intelligent Technology Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maide Intelligent Technology Wuxi Co ltd filed Critical Maide Intelligent Technology Wuxi Co ltd
Priority to CN202310887447.4A priority Critical patent/CN116664713B/zh
Publication of CN116664713A publication Critical patent/CN116664713A/zh
Application granted granted Critical
Publication of CN116664713B publication Critical patent/CN116664713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请提供一种超声造影图像生成模型的训练方法及图像的生成方法，应用于图像处理技术领域，其中，超声造影图像生成模型的训练方法包括：获取训练数据集；其中，训练数据集包括灰阶超声样本图像以及超声造影真实图像；将灰阶超声样本图像输入数据增强网络中，得到数据增强网络输出的第一随机噪声；利用训练数据集以及第一随机噪声对生成对抗网络进行训练，得到训练好的生成对抗网络，并将训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。在上述方案中，与现有技术中传统的获取超声造影图像的方式相比，利用上述数据增强网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。

Description

一种超声造影图像生成模型的训练方法及图像的生成方法
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种超声造影图像生成模型的训练方法及图像的生成方法。
背景技术
超声(Ultrasound，US)成像是现代医学成像技术的重要组成部分，其中，超声造影(Contrast-Enhanced Ultrasound,CEUS)是近20年来蓬勃发展的超声新技术。CEUS是在常规超声检查的基础上，通过静脉注射超声造影剂，利用血液中造影剂气体微泡来增强组织内微血管的显示，实时动态地观察正常组织和病变组织的血流灌注情况。CEUS提供了不同于其他超声方式的独特信息，并且在诊断许多疾病，尤其是肿瘤方面发挥着越来越重要的作用，具有重要的临床价值。
然而，CEUS也有其局限性。首先，CEUS无法获取电子计算机断层扫描(ComputedTomography，CT)或磁共振成像(Magnetic Resonance Imaging，MRI)的宽幅图像，在观察多个病灶时，需要反复多次注入造影剂；其次，扫查组织本身的声学特性(例如：发生脂肪变、纤维化、钙化等)、造影剂微泡浓度过大等都会造成超声造影的衰减，使图像质量下降；最后，超声造影价格昂贵，比较费时，且对操作者经验有一定依赖性，不利于推广使用。
因此，在现有技术中，传统的超声造影成像方法存在一定的局限性，从而导致获取到的超声造影图像的准确性较低。
发明内容
本申请实施例的目的在于提供一种超声造影图像生成模型的训练方法及图像的生成方法，用以解决现有技术中获取到的超声造影图像的准确性较低的技术问题。
第一方面，本申请实施例提供一种超声造影图像生成模型的训练方法，包括：获取训练数据集；其中，所述训练数据集包括灰阶超声样本图像以及超声造影真实图像；将所述灰阶超声样本图像输入数据增强网络中，得到所述数据增强网络输出的第一随机噪声；利用所述训练数据集以及所述第一随机噪声对所述生成对抗网络进行训练，得到训练好的生成对抗网络，并将所述训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。
在上述方案中，可以利用数据增强网络对训练数据集中的灰阶超声样本图像进行数据增强，从而得到对应的第一随机噪声；然后，利用上述第一随机噪声以及灰阶超声样本图像，可以对生成对抗网络中的生成器以及鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述数据增强网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
在可选的实施方式中，所述数据增强网络为自动编码网络。
在上述方案中，可以利用自动编码网络对训练数据集中的灰阶超声样本图像进行数据增强，从而得到对应的第一随机噪声。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
在可选的实施方式中，所述自动编码网络包括编码器、第一鉴别器以及第一生成器；所述将所述灰阶超声样本图像输入数据增强网络中，得到所述数据增强网络输出的第一随机噪声，包括：将所述灰阶超声样本图像输入所述编码器中，得到所述编码器输出的嵌入向量；利用所述第一鉴别器以及所述嵌入向量生成对应的随机采样向量；将所述随机采样向量输入所述第一生成器中，得到所述第一生成器输出的所述第一随机噪声。
在上述方案中，可以利用自动编码网络对训练数据集中的灰阶超声样本图像进行数据增强；其中，首先利用编码器将灰阶超声样本图像转换为嵌入向量，然后再利用第一鉴别器得到与嵌入向量同域的随机采样向量，最后再利用第一生成器将上述随机采样向量转换为第一随机噪声。利用经过数据增强后得到的第一随机噪声以及灰阶超声样本图像对生成对抗网络进行训练，可以提高训练得到的超声造影图像生成模型生成超声造影图像的准确性。
在可选的实施方式中，所述生成对抗网络包括第二生成器以及第二鉴别器；所述利用所述训练数据集以及所述第一随机噪声对所述生成对抗网络进行训练，得到训练好的生成对抗网络，包括：将所述训练数据集以及所述第一随机噪声输入所述第二生成器中，得到所述超声造影预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的生成损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第二鉴别器中，得到对应的鉴别结果，并根据所述鉴别结果计算所述第二鉴别器的鉴别损失值；根据所述生成损失值以及所述鉴别损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络。
在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数以及鉴别损失函数，基于上述两个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
在可选的实施方式中，在所述根据所述生成损失值以及所述鉴别损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络之前，所述方法还包括：确定所述超声造影真实图像中的第一肿瘤区域以及所述超声造影预测图像中的第二肿瘤区域，并根据所述第一肿瘤区域以及所述第二肿瘤区域计算所述生成对抗网络的肿瘤区域相似度损失值；所述根据所述生成损失值以及所述鉴别损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络，包括：根据所述生成损失值、所述鉴别损失值以及所述肿瘤区域相似度损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络。
在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、鉴别损失函数以及肿瘤区域相似度损失值，基于上述三个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，除了可以提高获取到的超声造影图像的准确性，还可以提高肿瘤区域造影重建的真实感。
第二方面，本申请实施例提供一种超声造影图像的生成方法，包括：获取目标对象对应的灰阶超声图像；将所述灰阶超声图像输入数据增强网络中，得到所述数据增强网络输出的第二随机噪声；将所述灰阶超声图像以及所述第二随机噪声输入超声造影图像生成模型中，得到所述超声造影图像生成模型输出的目标超声造影图像；其中，所述超声造影图像生成模型为利用如第一方面任一项所述的超声造影图像生成模型的训练方法对所述生成对抗网络进行训练得到的。
在上述方案中，利用数据增强网络以及预先训练好的生成对抗网络中的生成器，基于目标对象对应的灰阶超声图像，便可以生成对应的超声造影图像。其中，与现有技术中传统的获取超声造影图像的方式相比，本申请实施例提供的超声造影图像的生成方法，结合数据增强网络以及生成对抗网络便可以生成准确性较高的超声造影图像。
第三方面，本申请实施例提供一种超声造影图像生成模型的训练装置，包括：第一获取模块，用于获取训练数据集；其中，所述训练数据集包括灰阶超声样本图像以及超声造影真实图像；第一输入模块，用于将所述灰阶超声样本图像输入数据增强网络中，得到所述数据增强网络输出的第一随机噪声；训练模块，用于利用所述训练数据集以及所述第一随机噪声对所述生成对抗网络进行训练，得到训练好的生成对抗网络，并将所述训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。
在上述方案中，可以利用数据增强网络对训练数据集中的灰阶超声样本图像进行数据增强，从而得到对应的第一随机噪声；然后，利用上述第一随机噪声以及灰阶超声样本图像，可以对生成对抗网络中的生成器以及鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述数据增强网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
在可选的实施方式中，所述数据增强网络为自动编码网络。
在上述方案中，可以利用自动编码网络对训练数据集中的灰阶超声样本图像进行数据增强，从而得到对应的第一随机噪声。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
在可选的实施方式中，所述自动编码网络包括编码器、第一鉴别器以及第一生成器；所述第一输入模块具体用于：将所述灰阶超声样本图像输入所述编码器中，得到所述编码器输出的嵌入向量；利用所述第一鉴别器以及所述嵌入向量生成对应的随机采样向量；将所述随机采样向量输入所述第一生成器中，得到所述第一生成器输出的所述第一随机噪声。
在上述方案中，可以利用自动编码网络对训练数据集中的灰阶超声样本图像进行数据增强；其中，首先利用编码器将灰阶超声样本图像转换为嵌入向量，然后再利用第一鉴别器得到与嵌入向量同域的随机采样向量，最后再利用第一生成器将上述随机采样向量转换为第一随机噪声。利用经过数据增强后得到的第一随机噪声以及灰阶超声样本图像对生成对抗网络进行训练，可以提高训练得到的超声造影图像生成模型生成超声造影图像的准确性。
在可选的实施方式中，所述生成对抗网络包括第二生成器以及第二鉴别器；所述训练模块具体用于：将所述训练数据集以及所述第一随机噪声输入所述第二生成器中，得到所述超声造影预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的生成损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第二鉴别器中，得到对应的鉴别结果，并根据所述鉴别结果计算所述第二鉴别器的鉴别损失值；根据所述生成损失值以及所述鉴别损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络。
在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数以及鉴别损失函数，基于上述两个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
在可选的实施方式中，所述超声造影图像生成模型的训练装置还包括：确定模块，用于确定所述超声造影真实图像中的第一肿瘤区域以及所述超声造影预测图像中的第二肿瘤区域，并根据所述第一肿瘤区域以及所述第二肿瘤区域计算所述生成对抗网络的肿瘤区域相似度损失值；所述训练模块还用于：根据所述生成损失值、所述鉴别损失值以及所述肿瘤区域相似度损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络。
在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、鉴别损失函数以及肿瘤区域相似度损失值，基于上述三个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，除了可以提高获取到的超声造影图像的准确性，还可以提高肿瘤区域造影重建的真实感。
第四方面，本申请实施例提供一种超声造影图像的生成装置，包括：第二获取模块，用于获取目标对象对应的灰阶超声图像；第二输入模块，用于将所述灰阶超声图像输入数据增强网络中，得到所述数据增强网络输出的第二随机噪声；第三输入模块，用于将所述灰阶超声图像以及所述第二随机噪声输入超声造影图像生成模型中，得到所述超声造影图像生成模型输出的目标超声造影图像；其中，所述超声造影图像生成模型为利用如第一方面任一项所述的超声造影图像生成模型的训练方法对所述生成对抗网络进行训练得到的。
在上述方案中，利用数据增强网络以及预先训练好的生成对抗网络中的生成器，基于目标对象对应的灰阶超声图像，便可以生成对应的超声造影图像。其中，与现有技术中传统的获取超声造影图像的方式相比，本申请实施例提供的超声造影图像的生成方法，结合数据增强网络以及生成对抗网络便可以生成准确性较高的超声造影图像。
第五方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如第一方面所述的超声造影图像生成模型的训练方法或者如第二方面所述的超声造影图像的生成方法。
第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如第一方面所述的超声造影图像生成模型的训练方法或者如第二方面所述的超声造影图像的生成方法。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种超声造影图像的生成方法的流程图；
图2为本申请实施例提供的一种超声造影图像生成模型的训练方法的流程图；
图3为本申请实施例提供的一种超声造影图像生成模型的训练系统的示意图；
图4为本申请实施例提供的一种超声造影图像生成模型的训练装置的结构框图；
图5为本申请实施例提供一种超声造影图像的生成装置的结构框图；
图6为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参照图1，图1为本申请实施例提供的一种超声造影图像的生成方法的流程图，该超声造影图像的生成方法可以包括如下步骤：
步骤S101：获取目标对象对应的灰阶超声图像。
步骤S102：将灰阶超声图像输入数据增强网络中，得到数据增强网络输出的第二随机噪声。
步骤S103：将灰阶超声图像以及第二随机噪声输入超声造影图像生成模型中，得到超声造影图像生成模型输出的目标超声造影图像。
具体的，在上述步骤S101中，目标对象是指病人需要进行检测的部分，例如：颈动脉、乳腺等；灰阶超声图像是指利用灰阶超声技术针对病人需要进行检测的部分进行成像得到的图像，其中，灰阶超声技术是以回声不同的振幅等级，在声像图应用相对应的黑白层次来反映灰度分层的等级程度的一种成像技术。
需要说明的是，本申请实施例对获取目标对象对应的灰阶超声图像的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以接收外部设备发送的灰阶超声图像；或者，可以读取本地或者云端事先存储的灰阶超声图像；或者，可以实时采集目标对象对应的灰阶超声图像等。
在上述步骤S102中，数据增强网络为事先训练好且用于对灰阶超声图像进行数据增强的模型。需要说明的是，本申请实施例对上述数据增强网络的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，数据增强网络可以为自动编码(VariationalAutoencoder，VAE)网络，用于对图像进行编码、解码处理等；或者，数据增强网络可以为图像处理网络，用于对图像进行旋转、亮度调整、对比度调整等处理；或者，数据增强网络可以为高斯模糊模型，用于对图像进行模糊处理等。
可以理解的是，在执行上述步骤S102之前，可以事先对一个数据增强网络进行训练，得到训练好的数据增强网络。需要说明的是，本申请实施例对训练上述数据增强网络的具体实施方式不作具体的限定，本领域技术人员可以结合现有技术进行合适的调整。
因此，可以将上述步骤S101获取到的灰阶超声图像输入数据增强网络中进行数据增强，从而可以得到数据增强后得到的第二随机噪声。
在上述步骤S103中，超声造影图像生成模型为训练好的生成对抗网络(Generative Adversarial Networks，GAN)中的生成器。
可以理解的是，在执行上述步骤S103之前，可以事先对一个生成对抗网络进行训练，得到训练好的生成对抗网络，并将上述训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。其中，在训练上述生成对抗网络的过程中，同样可以先利用数据增强网络对样本数据进行处理后，再利用增强后的样本数据进行训练。
因此，上述超声造影图像生成模型用于基于目标对象对应的灰阶超声图像以及数据增强后得到的第二随机噪声生成目标对象对应的超声造影图像；也就是说，将上述步骤S101中获取到的目标对象对应的灰阶超声图像以及上述步骤S102中得到的第二随机噪声，输入上述超声造影图像中，可以得到目标对象对应的超声造影图像。
需要说明的是，本申请实施例对生成对抗网络的具体结构不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，生成对抗网络可以包括生成器以及鉴别器；或者，生成对抗网络可以包括生成器以及多个鉴别器等。
此外，本申请实施例对生成对抗网络中的生成器以及鉴别器的具体结构同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。
举例来说，生成器可以遵循U-net网络架构。其中，生成器可以采用编码器-解码器的结构，采用该结构，除了可以学习灰阶超声图像与超声造影图像之间的整体映射关系外，还有助于学习不同尺度的语义信息；编码器和解码器之间的跳过连接，可以确保解码器集成更多低级特征，有利于生成超声造影图像的丰富细节。假设生成器的输入为大小为256*256的图像。
作为一种实施方式，编码器可以包括一个输入层和6个卷积块，每个卷积块包括一个激活函数(Rectified Linear Unit，ReLU)层、一个卷积(Convolutional，Conv)层以及一个池化(Batch Normalization，BN)层；每个卷积块间，可以使用步长为2的卷积，以减少信息损失；编码器中每个卷积块的输出通道可以设置为64、128、256、512、512、512、512。
解码器可以包括包含6个卷积块和一个输出层；与编码器中的卷积块不同，解码器中的卷积操作可以采用反卷积操作，用于将特征图重构回输入图像大小；解码器中每个卷积块的输入通道可以设置为512、1024、1024、1024、512、256、128。
生成器的最后一层可以采用反卷积操作加Tanh激活层，用于将128通道的特征图映射到3通道的超声造影图像。
鉴别器可以接收4通道合成图像，该4通道合成图像可以包括单通道的灰阶超声图像以及3通道的超声造影图像，从而可以获取到更多的先验知识。
作为一种实施方式，鉴别器可以包括一个Conv层、4个卷积块和一个输出层，每个卷积块包括一个Conv层、一个BN层和一个Leaky-ReLU层；鉴别器中每个卷积层的输出通道可以分别设置为64、128、256、512、512和1。
需要说明的是，上述实施例中涉及的卷积层的数量、通道数量等具体数量仅为示例，本领域技术人员可以根据实际情况对生成对抗网络中的具体数量进行合适的调整。
此外，本申请实施例对训练上述生成对抗网络的具体实施方式也不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。其中，后续实施例中将举例对训练上述生成对抗网络的具体实施方式进行介绍，因此，此处暂不说明。
可以理解的是，在将灰阶超声图像输入数据增强网络以及超声造影图像生成模型之前，还可以对灰阶超声图像进行预处理，例如：对灰阶超声图像进行图像标准化处理、归一化处理等。
需要说明的是，作为另一种实施方式，也可以同时对数据增强网络以及生成对抗网络进行训练，最终得到训练好的数据增强网络以及生成对抗网络，并将训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。
在上述方案中，利用数据增强网络以及预先训练好的生成对抗网络中的生成器，基于目标对象对应的灰阶超声图像，便可以生成对应的超声造影图像。其中，与现有技术中传统的获取超声造影图像的方式相比，本申请实施例提供的超声造影图像的生成方法，结合数据增强网络以及生成对抗网络便可以生成准确性较高的超声造影图像。
进一步的，在上述实施例的基础上，在执行上述步骤S102之前，还可以预先对生成对抗网络进行训练，以得到训练好的生成对抗网络，并将上述训练好的生成对抗网络中的生成器确定为上述实施例中的超声造影图像生成模型。
其中，请参照图2，图2为本申请实施例提供的一种超声造影图像生成模型的训练方法的流程图，该超声造影图像生成模型的训练方法可以利用如下步骤对生成对抗网络进行训练：
步骤S201：获取训练数据集。
步骤S202：将灰阶超声样本图像输入数据增强网络中，得到数据增强网络输出的第一随机噪声。
步骤S203：利用训练数据集以及第一随机噪声对生成对抗网络进行训练，得到训练好的生成对抗网络，并将训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。
具体的，在上述步骤S201中，训练数据集是指用于对生成对抗网络进行训练的样本数据。其中，训练数据集可以包括灰阶超声样本图像以及超声造影真实图像。
在上述步骤S202中，数据增强网络为事先训练好且用于对灰阶超声样本图像进行数据增强的模型。可以理解的是，在执行上述步骤S202之前，可以事先对一个数据增强网络进行训练，得到训练好的数据增强网络。需要说明的是，本申请实施例对训练上述数据增强网络的具体实施方式不作具体的限定，本领域技术人员可以结合现有技术进行合适的调整。
因此，可以将上述步骤S201获取到的灰阶超声样本图像输入数据增强网络中进行数据增强，从而可以得到数据增强后得到的第一随机噪声。
需要说明的是，作为另一种实施方式，也可以同时对数据增强网络以及生成对抗网络进行训练，最终得到训练好的数据增强网络以及生成对抗网络，并将训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。
在上述方案中，可以利用数据增强网络对训练数据集中的灰阶超声样本图像进行数据增强，从而得到对应的第一随机噪声；然后，利用上述第一随机噪声以及灰阶超声样本图像，可以对生成对抗网络中的生成器以及鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述数据增强网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
进一步的，在上述实施例的基础上，数据增强网络可以为自动编码网络。
具体的，由于生成对抗网络的有效训练需要很多数据，在低数据情况下，生成对抗网络的参数是欠定的，学到的网络泛化能力会较差，因此，可以通过数据增强的方式增加用于训练的样本数据。
在本申请实施例中，可以采用自动编码网络实现数据增强的目的；从源域获取样本数据，利用自动编码网络学习并泛化成其他域的样本数据，可以增强生成逼真的医学图像，有助于训练生成对抗网络模型以获得更真实和可靠的超声造影图像。
在上述方案中，可以利用自动编码网络对训练数据集中的灰阶超声样本图像进行数据增强，从而得到对应的第一随机噪声。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
进一步的，在上述实施例的基础上，自动编码网络可以包括编码器、第一鉴别器以及第一生成器，此时，上述步骤S202具体可以包括如下步骤：
步骤1)，将灰阶超声样本图像输入编码器中，得到编码器输出的嵌入向量。
步骤2)，利用第一鉴别器以及嵌入向量生成对应的随机采样向量。
步骤3)，将随机采样向量输入第一生成器中，得到第一生成器输出的第一随机噪声。
具体的，可以在生成对抗网络架构中引入编码器、第一鉴别器以及第一生成。
其中，自动编码网络可以实现将灰阶超声样本图像利用编码器嵌入到先验分布中，得到对应的嵌入向量；然后利用第一鉴别器对上述编码器进行对抗学习，并将嵌入向量视为假向量，将随机采样向量视为真实向量；上述第一鉴别器可保证输入的灰阶超声样本图像和随机采样向量特征分布一致。这样可以保证在少量样本输入的情况下，基于上述第一鉴别器可以生成大量和灰阶超声样本图像特征分布一致的随机采样向量；最后再利用第一生成器，可以将上述随机采样向量解码为第一随机噪声。
在上述方案中，可以利用自动编码网络对训练数据集中的灰阶超声样本图像进行数据增强；其中，首先利用编码器将灰阶超声样本图像转换为嵌入向量，然后再利用第一鉴别器得到与嵌入向量同域的随机采样向量，最后再利用第一生成器将上述随机采样向量转换为第一随机噪声。利用经过数据增强后得到的第一随机噪声以及灰阶超声样本图像对生成对抗网络进行训练，可以提高训练得到的超声造影图像生成模型生成超声造影图像的准确性。
进一步的，在上述实施例的基础上，生成对抗网络可以包括第二生成器以及第二鉴别器，作为一种实施方式，上述步骤S203具体可以包括如下步骤：
步骤1)，将训练数据集以及第一随机噪声输入第二生成器中，得到超声造影预测图像，并根据超声造影真实图像以及超声造影预测图像计算生成器的生成损失值。
步骤2)，将超声造影真实图像以及超声造影预测图像输入第二鉴别器中，得到对应的鉴别结果，并根据鉴别结果计算第二鉴别器的鉴别损失值。
步骤3)，根据生成损失值以及鉴别损失值对生成器以及第二鉴别器进行优化，得到训练好的生成对抗网络。
具体的，在上述步骤1)中，生成器对应的生成损失函数可以利用如下公式表示：
lossgenerator＝lossl1(xg，yv)；
其中，lossgenerator表示生成器的生成损失值，xg表示超声造影真实图像，yv表示超声造影预测图像，lossl1(a，b)表示a与b之间的平均绝对值误差(Mean Absolute Error，MAE)损失。
在上述步骤2)中，第一鉴别器对应的整图鉴别损失函数(Image DiscriminatorLoss)可以利用如下公式表示：
lossdiscriminator＝
losscross-entry(1，D(xr，xg))+losscross-entry(0，D(xr，xg))；
其中，lossdiscriminator表示第二鉴别器的鉴别损失值，xr表示灰阶超声样本图像，xg表示超声造影真实图像，losscross-entry(1，D(a，b))以及losscross-entry(0，D(a，b))表示第二鉴别器的交叉熵损失。
在上述步骤3)中，基于生成损失值以及鉴别损失值，可以通过反向传播更新生成对抗网络中生成器以及第二鉴别器的模型参数，从而得到上述实施例中的超声造影图像生成模型。
此时，生成对抗网络的总损失函数可以表示为：
loss＝lossgenerator+lossdiscriminator。
在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数以及鉴别损失函数，基于上述两个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
作为另一种实施方式，上述步骤S203具体可以包括如下步骤：
步骤1)，将训练数据集以及第一随机噪声输入第二生成器中，得到超声造影预测图像，并根据超声造影真实图像以及超声造影预测图像计算生成器的生成损失值。
步骤2)，将超声造影真实图像以及超声造影预测图像输入第二鉴别器中，得到对应的鉴别结果，并根据鉴别结果计算第二鉴别器的鉴别损失值。
步骤3)，确定超声造影真实图像中的第一肿瘤区域以及超声造影预测图像中的第二肿瘤区域，并根据第一肿瘤区域以及第二肿瘤区域计算生成对抗网络的肿瘤区域相似度损失值。
步骤4)，根据生成损失值、鉴别损失值以及肿瘤区域相似度损失值对生成器以及第二鉴别器进行优化，得到训练好的生成对抗网络。
具体的，在上述步骤1)中，生成器对应的生成损失函数可以利用如下公式表示：
lossgenerator＝lossl1(xg，yv)；
其中，lossgenerator表示生成器的生成损失值，xg表示超声造影真实图像，yv表示超声造影预测图像，lossl1(a，b)表示a与b之间的平均绝对值误差(Mean Absolute Error，MAE)损失。
在上述步骤2)中，第一鉴别器对应的整图鉴别损失函数可以利用如下公式表示：
lossdiscriminator＝
losscross-entry(1，D(xr，xg))+losscross-entry(0，D(xr，xg))；
其中，lossdiscriminator表示第二鉴别器的鉴别损失值，xr表示灰阶超声样本图像，xg表示超声造影真实图像，losscross-entry(1，D(a，b))以及losscross-entry(0，D(a，b))表示第二鉴别器的交叉熵损失。
在上述步骤3)中，由于超声造影图像中肿瘤组织的颜色、形状、亮度分布与正常组织不同，因此，可以分别确定超声造影真实图像中的第一肿瘤区域以及超声造影预测图像中的第二肿瘤区域；通过计算第一肿瘤区域以及第二肿瘤区域之间的肿瘤区域相似度损失值，来衡量预测肿瘤与真实肿瘤之间的差距，从而有效区分肿瘤组织与正常组织。
生成对抗网络的肿瘤区域相似度损失函数(Tumor Similarity Loss)可以利用如下公式表示：
其中，losssimilarity表示生成对抗网络的肿瘤区域相似度损失值，表示超声造影真实图像中的第一肿瘤区域，/>表示超声造影预测图像中的第二肿瘤区域，lossCosineEmbeddingLOss(a，b)表示a与b之间的余弦(Cosine Embedding)损失。
在上述步骤4)中，基于生成损失值、鉴别损失值以及肿瘤区域相似度损失值，可以通过反向传播更新生成对抗网络中生成器以及第二鉴别器的模型参数，从而得到上述实施例中的超声造影图像生成模型。
此时，生成对抗网络的总损失函数可以表示为：
loss＝lossgenerator+lossdiscriminator+losssimilarity。
在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、鉴别损失函数以及肿瘤区域相似度损失值，基于上述三个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，除了可以提高获取到的超声造影图像的准确性，还可以提高肿瘤区域造影重建的真实感。
请参照图3，图3为本申请实施例提供的一种超声造影图像生成模型的训练系统的示意图，该超声造影图像生成模型的训练系统包括生成对抗网络以及数据增强网络。其中，数据增强网络包括编码器、第一鉴别器以及第一生成器，生成对抗网络包括第二生成器以及第二鉴别器。
请参照图4，图4为本申请实施例提供的一种超声造影图像生成模型的训练装置的结构框图，该超声造影图像生成模型的训练装置400包括：第一获取模块401，用于获取训练数据集；其中，所述训练数据集包括灰阶超声样本图像以及超声造影真实图像；第一输入模块402，用于将所述灰阶超声样本图像输入数据增强网络中，得到所述数据增强网络输出的第一随机噪声；训练模块403，用于利用所述训练数据集以及所述第一随机噪声对所述生成对抗网络进行训练，得到训练好的生成对抗网络，并将所述训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。
在上述方案中，可以利用数据增强网络对训练数据集中的灰阶超声样本图像进行数据增强，从而得到对应的第一随机噪声；然后，利用上述第一随机噪声以及灰阶超声样本图像，可以对生成对抗网络中的生成器以及鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述数据增强网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
进一步的，在上述实施例的基础上，所述数据增强网络为自动编码网络。
在上述方案中，可以利用自动编码网络对训练数据集中的灰阶超声样本图像进行数据增强，从而得到对应的第一随机噪声。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
进一步的，在上述实施例的基础上，所述自动编码网络包括编码器、第一鉴别器以及第一生成器；所述第一输入模块402具体用于：将所述灰阶超声样本图像输入所述编码器中，得到所述编码器输出的嵌入向量；利用所述第一鉴别器以及所述嵌入向量生成对应的随机采样向量；将所述随机采样向量输入所述第一生成器中，得到所述第一生成器输出的所述第一随机噪声。
在上述方案中，可以利用自动编码网络对训练数据集中的灰阶超声样本图像进行数据增强；其中，首先利用编码器将灰阶超声样本图像转换为嵌入向量，然后再利用第一鉴别器得到与嵌入向量同域的随机采样向量，最后再利用第一生成器将上述随机采样向量转换为第一随机噪声。利用经过数据增强后得到的第一随机噪声以及灰阶超声样本图像对生成对抗网络进行训练，可以提高训练得到的超声造影图像生成模型生成超声造影图像的准确性。
进一步的，在上述实施例的基础上，所述生成对抗网络包括第二生成器以及第二鉴别器；所述训练模块403具体用于：将所述训练数据集以及所述第一随机噪声输入所述第二生成器中，得到所述超声造影预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的生成损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第二鉴别器中，得到对应的鉴别结果，并根据所述鉴别结果计算所述第二鉴别器的鉴别损失值；根据所述生成损失值以及所述鉴别损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络。
在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数以及鉴别损失函数，基于上述两个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，可以提高获取到的超声造影图像的准确性。
进一步的，在上述实施例的基础上，所述超声造影图像生成模型的训练装置400还包括：确定模块，用于确定所述超声造影真实图像中的第一肿瘤区域以及所述超声造影预测图像中的第二肿瘤区域，并根据所述第一肿瘤区域以及所述第二肿瘤区域计算所述生成对抗网络的肿瘤区域相似度损失值；所述训练模块还用于：根据所述生成损失值、所述鉴别损失值以及所述肿瘤区域相似度损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络。
在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、鉴别损失函数以及肿瘤区域相似度损失值，基于上述三个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述自动编码网络以及超声造影图像生成模型生成超声造影图像，除了可以提高获取到的超声造影图像的准确性，还可以提高肿瘤区域造影重建的真实感。
请参照图5，图5为本申请实施例提供一种超声造影图像的生成装置的结构框图，该超声造影图像的生成装置500包括：第二获取模块501，用于获取目标对象对应的灰阶超声图像；第二输入模块502，用于将所述灰阶超声图像输入数据增强网络中，得到所述数据增强网络输出的第二随机噪声；第三输入模块503，用于将所述灰阶超声图像以及所述第二随机噪声输入超声造影图像生成模型中，得到所述超声造影图像生成模型输出的目标超声造影图像；其中，所述超声造影图像生成模型为利用上述超声造影图像生成模型的训练方法对所述生成对抗网络进行训练得到的。
在上述方案中，利用数据增强网络以及预先训练好的生成对抗网络中的生成器，基于目标对象对应的灰阶超声图像，便可以生成对应的超声造影图像。其中，与现有技术中传统的获取超声造影图像的方式相比，本申请实施例提供的超声造影图像的生成方法，结合数据增强网络以及生成对抗网络便可以生成准确性较高的超声造影图像。
请参照图6，图6为本申请实施例提供的一种电子设备的结构框图，该电子设备600包括：至少一个处理器601，至少一个通信接口602，至少一个存储器603和至少一个通信总线604。其中，通信总线604用于实现这些组件直接的连接通信，通信接口602用于与其他节点设备进行信令或数据的通信，存储器603存储有处理器601可执行的机器可读指令。当电子设备600运行时，处理器601与存储器603之间通过通信总线604通信，机器可读指令被处理器601调用时执行上述超声造影图像生成模型的训练方法或者超声造影图像的生成方法。
其中，处理器601包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(NetworkProcessor，简称NP)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(Neural-networkProcessing Unit，简称NPU)、图形处理器(Graphics Processing Unit，简称GPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器601为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。
存储器603包括一个或多个，其可以是，但不限于，随机存取存储器(RandomAccess Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(ErasableProgrammable Read-OnlyMemory，简称EPROM)，电可擦除可编程只读存储器(ElectricErasableProgrammable Read-Only Memory，简称EEPROM)等。
可以理解，图6所示的结构仅为示意，电子设备600还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备600可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备600也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。
例如，本申请实施例的处理器601通过通信总线604从存储器603读取计算机程序并执行该计算机程序可以实现如下方法：获取训练数据集；其中，所述训练数据集包括灰阶超声样本图像以及超声造影真实图像；将所述灰阶超声样本图像输入数据增强网络中，得到所述数据增强网络输出的第一随机噪声；利用所述训练数据集以及所述第一随机噪声对所述生成对抗网络进行训练，得到训练好的生成对抗网络，并将所述训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。
或者，所述数据增强网络为自动编码网络。
或者，所述自动编码网络包括编码器、第一鉴别器以及第一生成器，此时执行如下方法：将所述灰阶超声样本图像输入所述编码器中，得到所述编码器输出的嵌入向量；利用所述第一鉴别器以及所述嵌入向量生成对应的随机采样向量；将所述随机采样向量输入所述第一生成器中，得到所述第一生成器输出的所述第一随机噪声。
或者，所述生成对抗网络包括第二生成器以及第二鉴别器，此时执行如下方法：将所述训练数据集以及所述第一随机噪声输入所述第二生成器中，得到所述超声造影预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的生成损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第二鉴别器中，得到对应的鉴别结果，并根据所述鉴别结果计算所述第二鉴别器的鉴别损失值；根据所述生成损失值以及所述鉴别损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络。
或者，执行如下方法：确定所述超声造影真实图像中的第一肿瘤区域以及所述超声造影预测图像中的第二肿瘤区域，并根据所述第一肿瘤区域以及所述第二肿瘤区域计算所述生成对抗网络的肿瘤区域相似度损失值；所述根据所述生成损失值以及所述鉴别损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络，包括：根据所述生成损失值、所述鉴别损失值以及所述肿瘤区域相似度损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络。
或者，执行如下方法：获取目标对象对应的灰阶超声图像；将所述灰阶超声图像输入数据增强网络中，得到所述数据增强网络输出的第二随机噪声；将所述灰阶超声图像以及所述第二随机噪声输入超声造影图像生成模型中，得到所述超声造影图像生成模型输出的目标超声造影图像；其中，所述超声造影图像生成模型为利用上述超声造影图像生成模型的训练方法对所述生成对抗网络进行训练得到的。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行前述方法实施例所述的超声造影图像生成模型的训练方法或者超声造影图像的生成方法。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种超声造影图像生成模型的训练方法，其特征在于，包括：
获取训练数据集；其中，所述训练数据集包括灰阶超声样本图像以及超声造影真实图像；
将所述灰阶超声样本图像输入数据增强网络中，得到所述数据增强网络输出的第一随机噪声；
利用所述训练数据集以及所述第一随机噪声对生成对抗网络进行训练，得到训练好的生成对抗网络，并将所述训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。
2.根据权利要求1所述的超声造影图像生成模型的训练方法，其特征在于，所述数据增强网络为自动编码网络。
3.根据权利要求2所述的超声造影图像生成模型的训练方法，其特征在于，所述自动编码网络包括编码器、第一鉴别器以及第一生成器；
所述将所述灰阶超声样本图像输入数据增强网络中，得到所述数据增强网络输出的第一随机噪声，包括：
将所述灰阶超声样本图像输入所述编码器中，得到所述编码器输出的嵌入向量；
利用所述第一鉴别器以及所述嵌入向量生成对应的随机采样向量；
将所述随机采样向量输入所述第一生成器中，得到所述第一生成器输出的所述第一随机噪声。
4.根据权利要求1-3任一项所述的超声造影图像生成模型的训练方法，其特征在于，所述生成对抗网络包括第二生成器以及第二鉴别器；
所述利用所述训练数据集以及所述第一随机噪声对生成对抗网络进行训练，得到训练好的生成对抗网络，包括：
将所述训练数据集以及所述第一随机噪声输入所述第二生成器中，得到超声造影预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的生成损失值；
将所述超声造影真实图像以及所述超声造影预测图像输入所述第二鉴别器中，得到对应的鉴别结果，并根据所述鉴别结果计算所述第二鉴别器的鉴别损失值；
根据所述生成损失值以及所述鉴别损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络。
5.根据权利要求4所述的超声造影图像生成模型的训练方法，其特征在于，在所述根据所述生成损失值以及所述鉴别损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络之前，所述方法还包括：
确定所述超声造影真实图像中的第一肿瘤区域以及所述超声造影预测图像中的第二肿瘤区域，并根据所述第一肿瘤区域以及所述第二肿瘤区域计算所述生成对抗网络的肿瘤区域相似度损失值；
所述根据所述生成损失值以及所述鉴别损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络，包括：
根据所述生成损失值、所述鉴别损失值以及所述肿瘤区域相似度损失值对所述生成器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络。
6.一种超声造影图像的生成方法，其特征在于，包括：
获取目标对象对应的灰阶超声图像；
将所述灰阶超声图像输入数据增强网络中，得到所述数据增强网络输出的第二随机噪声；
将所述灰阶超声图像以及所述第二随机噪声输入超声造影图像生成模型中，得到所述超声造影图像生成模型输出的目标超声造影图像；其中，所述超声造影图像生成模型为利用如权利要求1-5任一项所述的超声造影图像生成模型的训练方法对所述生成对抗网络进行训练得到的。
7.一种超声造影图像生成模型的训练装置，其特征在于，包括：
第一获取模块，用于获取训练数据集；其中，所述训练数据集包括灰阶超声样本图像以及超声造影真实图像；
第一输入模块，用于将所述灰阶超声样本图像输入数据增强网络中，得到所述数据增强网络输出的第一随机噪声；
训练模块，用于利用所述训练数据集以及所述第一随机噪声对生成对抗网络进行训练，得到训练好的生成对抗网络，并将所述训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。
8.一种超声造影图像的生成装置，其特征在于，包括：
第二获取模块，用于获取目标对象对应的灰阶超声图像；
第二输入模块，用于将所述灰阶超声图像输入数据增强网络中，得到所述数据增强网络输出的第二随机噪声；
第三输入模块，用于将所述灰阶超声图像以及所述第二随机噪声输入超声造影图像生成模型中，得到所述超声造影图像生成模型输出的目标超声造影图像；其中，所述超声造影图像生成模型为利用如权利要求1-5任一项所述的超声造影图像生成模型的训练方法对所述生成对抗网络进行训练得到的。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线；
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如权利要求1-5任一项所述的超声造影图像生成模型的训练方法或者如权利要求6所述的超声造影图像的生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如权利要求1-5任一项所述的超声造影图像生成模型的训练方法或者如权利要求6所述的超声造影图像的生成方法。
CN202310887447.4A 2023-07-18 2023-07-18 一种超声造影图像生成模型的训练方法及图像的生成方法 Active CN116664713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310887447.4A CN116664713B (zh) 2023-07-18 2023-07-18 一种超声造影图像生成模型的训练方法及图像的生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310887447.4A CN116664713B (zh) 2023-07-18 2023-07-18 一种超声造影图像生成模型的训练方法及图像的生成方法

Publications (2)

Publication Number Publication Date
CN116664713A true CN116664713A (zh) 2023-08-29
CN116664713B CN116664713B (zh) 2024-03-01

Family

ID=87709966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310887447.4A Active CN116664713B (zh) 2023-07-18 2023-07-18 一种超声造影图像生成模型的训练方法及图像的生成方法

Country Status (1)

Country Link
CN (1) CN116664713B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541883A (zh) * 2024-01-09 2024-02-09 四川见山科技有限责任公司 图像生成模型训练、图像生成方法、系统以及电子设备
CN117741070A (zh) * 2024-02-21 2024-03-22 山东多瑞电子科技有限公司 基于深度学习的气体安全智能检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428853A (zh) * 2020-01-16 2020-07-17 东华大学 一种带噪声学习的负样本对抗生成方法
CN112508835A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强建模方法
CN114120028A (zh) * 2021-10-26 2022-03-01 中国电子科技集团公司第五十四研究所 一种基于双层生成对抗网络的对抗样本生成方法
CN115272255A (zh) * 2022-08-02 2022-11-01 中山大学中山眼科中心 一种利用眼底彩照自动生成荧光造影图像的方法
US20220409161A1 (en) * 2019-12-02 2022-12-29 University Of Utah Research Foundation Medical image synthesis for motion correction using generative adversarial networks
CN115588436A (zh) * 2022-09-29 2023-01-10 沈阳新松机器人自动化股份有限公司 基于变分自编码器生成对抗网络的语音增强方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220409161A1 (en) * 2019-12-02 2022-12-29 University Of Utah Research Foundation Medical image synthesis for motion correction using generative adversarial networks
CN111428853A (zh) * 2020-01-16 2020-07-17 东华大学 一种带噪声学习的负样本对抗生成方法
CN112508835A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强建模方法
CN114120028A (zh) * 2021-10-26 2022-03-01 中国电子科技集团公司第五十四研究所 一种基于双层生成对抗网络的对抗样本生成方法
CN115272255A (zh) * 2022-08-02 2022-11-01 中山大学中山眼科中心 一种利用眼底彩照自动生成荧光造影图像的方法
CN115588436A (zh) * 2022-09-29 2023-01-10 沈阳新松机器人自动化股份有限公司 基于变分自编码器生成对抗网络的语音增强方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541883A (zh) * 2024-01-09 2024-02-09 四川见山科技有限责任公司 图像生成模型训练、图像生成方法、系统以及电子设备
CN117541883B (zh) * 2024-01-09 2024-04-09 四川见山科技有限责任公司 图像生成模型训练、图像生成方法、系统以及电子设备
CN117741070A (zh) * 2024-02-21 2024-03-22 山东多瑞电子科技有限公司 基于深度学习的气体安全智能检测方法
CN117741070B (zh) * 2024-02-21 2024-05-03 山东多瑞电子科技有限公司 基于深度学习的气体安全智能检测方法

Also Published As

Publication number Publication date
CN116664713B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN116664713B (zh) 一种超声造影图像生成模型的训练方法及图像的生成方法
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN116681790B (zh) 一种超声造影图像生成模型的训练方法及图像的生成方法
CN111047629B (zh) 多模态图像配准的方法、装置、电子设备及存储介质
Vishnuvarthanan et al. An automated hybrid approach using clustering and nature inspired optimization technique for improved tumor and tissue segmentation in magnetic resonance brain images
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN113052831B (zh) 脑部医学影像异常检测方法、装置、设备及存储介质
RU2667879C1 (ru) Обработка и анализ данных на изображениях компьютерной томографии
US20230386048A1 (en) Ultrasound image segmentation method and apparatus, terminal device, and storage medium
US20200043170A1 (en) System and method for image segmentation using a joint deep learning model
CN112767505B (zh) 图像处理方法、训练方法、装置、电子终端及存储介质
US20230386032A1 (en) Lesion Detection and Segmentation
CN116823613A (zh) 基于梯度增强注意力的多模态mr影像超分辨率方法
Gheorghiță et al. Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data
CN114612618A (zh) 图像生成方法、装置、设备、存储介质及计算机程序产品
CN116433695B (zh) 一种乳腺钼靶图像的乳腺区域提取方法及系统
KR101948701B1 (ko) 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치
CN113689435B (zh) 图像分割方法、装置、电子设备及存储介质
CN115965837A (zh) 图像重建模型训练方法、图像重建方法及相关设备
CN112767420B (zh) 基于人工智能的核磁影像分割方法、装置、设备和介质
Cui et al. 3D Point-based Multi-Modal Context Clusters GAN for Low-Dose PET Image Denoising
CN114529718A (zh) 一种结外鼻型nk/t细胞淋巴瘤诊断与预后模型的构建方法
CN113052930A (zh) 一种胸部dr双能量数字减影图像生成方法
CN117765118B (zh) 伪影校正方法、装置、电子设备和计算机可读存储介质
CN115984229B (zh) 模型训练方法、乳腺测量方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240404

Address after: No. 201, 2nd Floor, Building 9, No. 128 Hemin Street, Chengdu High tech Zone, China (Sichuan) Pilot Free Trade Zone, Chengdu City, Sichuan Province, 610000

Patentee after: Sichuan Maideyingshen Information Technology Co.,Ltd.

Country or region after: China

Address before: West of the second floor, No. 88 Meiliang Road, Mashan, Binhu District, Wuxi City, Jiangsu Province, 214100

Patentee before: Maide Intelligent Technology (Wuxi) Co.,Ltd.

Country or region before: China