CN110147830B - 训练影像数据生成网络的方法、影像数据分类方法及装置 - Google Patents

训练影像数据生成网络的方法、影像数据分类方法及装置 Download PDF

Info

Publication number
CN110147830B
CN110147830B CN201910376285.1A CN201910376285A CN110147830B CN 110147830 B CN110147830 B CN 110147830B CN 201910376285 A CN201910376285 A CN 201910376285A CN 110147830 B CN110147830 B CN 110147830B
Authority
CN
China
Prior art keywords
image data
network
generated
generation network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910376285.1A
Other languages
English (en)
Other versions
CN110147830A (zh
Inventor
王希
何光宇
平安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201910376285.1A priority Critical patent/CN110147830B/zh
Publication of CN110147830A publication Critical patent/CN110147830A/zh
Application granted granted Critical
Publication of CN110147830B publication Critical patent/CN110147830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种训练影像数据生成网络的方法、影像数据分类方法及装置，具体为，利用第一影像数据和第二影像数据，训练第一影像数据生成网络、第二影像数据生成网络。当第一影像数据生成网络生成的第一影像数据的第一鉴别结果达到预设条件，或第二影像数据生成网络生成的第二影像数据的第二鉴别结果达到预设条件时，表明第一影像数据生成网络、第二影像数据生成网络训练完成。当仅存在第一影像数据或第二影像数据时，通过第二影像数据生成网络获得生成的第二影像数据，或通过第一影像数据生成网络获得生成的第一影像数据。将第一影像数据、生成的第二影像数据，或生成的第一影像数据、第二影像数据，输入影像数据分类模型获得分类结果。

Description

训练影像数据生成网络的方法、影像数据分类方法及装置
技术领域
本申请涉及人工智能技术领域，具体涉及一种训练影像数据生成网络的方法、影像数据分类方法及装置。
背景技术
医学影像学是研究借助于某种介质(如X射线、电磁场、超声波等)与人体相互作用，把人体内部组织器官结构、密度以影像方式表现出来，供诊断医生根据医学影像提供的信息进行判断，从而对人体健康状况进行评价的一门科学。
目前，在实际应用中，医生通常会根据实际情况选择患者进行某项检查以获取某一类型的医疗影像数据，例如，CT(Computed Tomography，计算机断层扫描)图像数据、PET(正电子发射型计算机断层显像，Positron Emission Computed Tomography)图像数据或者MRI(磁共振成像，Magnetic Resonance Imaging)图像数据等。但是，在某些情况下单种医疗影像数据可能无法满足需求，则需要患者再次进行其他检查以获取其他类型的医疗影像数据，造成时间、成本的增加。
发明内容
有鉴于此，本申请实施例提供一种训练影像数据生成网络的方法、影像数据分类方法及装置，以解决现有技术中患者需要重复检查以获取不同类型的医疗影像数据，造成时间、成本增加的技术问题。
为解决上述问题，本申请实施例提供的技术方案如下：
一种训练影像数据生成网络的方法，所述方法包括：
根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络；
根据所述第一影像数据生成网络得到生成的第一影像数据，将所述生成的第一影像数据输入第一影像数据鉴别网络，得到第一鉴别结果；或者，根据所述第二影像数据生成网络得到生成的第二影像数据，将所述生成的第二影像数据输入第二影像数据鉴别网络，得到第二鉴别结果；所述第一影像数据鉴别网络是根据所述第一影像数据训练的，所述第二影像数据鉴别网络是根据所述第二影像数据训练的；
根据所述第一鉴别结果，或者，所述第二鉴别结果，重新执行所述根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络，直到所述第一鉴别结果或者所述第二鉴别结果达到预设条件。
在一种可能的实现方式中，所述根据所述第一影像数据生成网络得到生成的第一影像数据，将所述生成的第一影像数据输入第一影像数据鉴别网络，得到第一鉴别结果，包括：
将所述第二影像数据输入所述第一影像数据生成网络，获得生成的第一影像数据；
根据所述第一影像数据和所述生成的第一影像数据，训练第一影像数据鉴别网络；
将所述生成的第一影像数据输入所述第一影像数据鉴别网络，得到第一鉴别结果。
在一种可能的实现方式中，所述根据所述第二影像数据生成网络得到生成的第二影像数据，将所述生成的第二影像数据输入第二影像数据鉴别网络，得到第二鉴别结果，包括：
将所述第一影像数据输入所述第二影像数据生成网络，获得生成的第二影像数据；
根据所述第二影像数据和所述生成的第二影像数据，训练第二影像数据鉴别网络；
将所述生成的第二影像数据输入所述第二影像数据鉴别网络，得到第二鉴别结果。
在一种可能的实现方式中，所述根据所述第二影像数据生成网络得到生成的第二影像数据，将所述生成的第二影像数据输入第二影像数据鉴别网络，得到第二鉴别结果，包括：
将所述第二影像数据输入所述第一影像数据生成网络，获得生成的第一影像数据；
将所述生成的第一影像数据输入所述第二影像数据生成网络，获得生成的第二影像数据；
根据所述第二影像数据和所述生成的第二影像数据，训练第二影像数据鉴别网络；
将所述生成的第二影像数据输入所述第二影像数据鉴别网络，得到第二鉴别结果。
在一种可能的实现方式中，所述根据所述第一影像数据生成网络得到生成的第一影像数据，将所述生成的第一影像数据输入第一影像数据鉴别网络，得到第一鉴别结果，包括：
将所述第一影像数据输入所述第二影像数据生成网络，获得生成的第二影像数据；
将所述生成的第二影像数据输入所述第一影像数据生成网络，获得生成的第一影像数据；
根据所述第一影像数据和所述生成的第一影像数据，训练第一影像数据鉴别网络；
将所述生成的第一影像数据输入所述第一影像数据鉴别网络，得到第一鉴别结果。
在一种可能的实现方式中，所述第一影像数据与所述第二影像数据不同，所述第一影像数据为计算机断层扫描CT图像数据、正电子发射型计算机断层显像PET图像数据或者磁共振成像MRI图像数据，所述第二影像数据为CT图像数据、PET图像数据或者MRI图像数据。
一种影像数据分类方法，所述方法包括：
当仅存在第一影像数据时，将所述第一影像数据输入第二影像数据生成网络，获得生成的第二影像数据；
当仅存在第二影像数据时，将所述第二影像数据输入第一影像数据生成网络，获得生成的第一影像数据；所述第一影像数据生成网络以及所述第二影像数据生成网络是根据上述的训练影像数据生成网络的方法训练得到的；
将所述第一影像数据、所述生成的第二影像数据，或者，所述生成的第一影像数据、所述第二影像数据，或者，所述第一影像数据、所述第二影像数据输入影像数据分类模型，获得所述影像数据分类模型输出的分类结果。
一种训练影像数据生成网络的装置，所述装置包括：
第一训练单元，用于根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络；
生成单元，用于根据所述第一影像数据生成网络得到生成的第一影像数据，将所述生成的第一影像数据输入第一影像数据鉴别网络，得到第一鉴别结果；或者，根据所述第二影像数据生成网络得到生成的第二影像数据，将所述生成的第二影像数据输入第二影像数据鉴别网络，得到第二鉴别结果；所述第一影像数据鉴别网络是根据所述第一影像数据训练的，所述第二影像数据鉴别网络是根据所述第二影像数据训练的；
第二训练单元，用于根据所述第一鉴别结果，或者，根据所述第二鉴别结果，重新触发所述第一训练单元执行根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络，直到所述第一鉴别结果或者所述第二鉴别结果达到预设条件。
一种影像数据分类装置，所述装置包括：
第一获取单元，用于当仅存在第一影像数据时，将所述第一影像数据输入第二影像数据生成网络，获得生成的第二影像数据；
第二获取单元，用于当仅存在第二影像数据时，将所述第二影像数据输入第一影像数据生成网络，获得生成的第一影像数据；所述第一影像数据生成网络以及所述第二影像数据生成网络是根据上述的训练影像数据生成网络的方法训练得到的；
第三获取单元，用于将所述第一影像数据、所述生成的第二影像数据，或者，所述生成的第一影像数据、所述第二影像数据，或者，所述第一影像数据、所述第二影像数据输入影像数据分类模型，获得所述影像数据分类模型输出的分类结果。
一种计算机可读存储介质，所述机算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述的训练影像数据生成网络的方法或执行上述的影像数据分类的方法。
一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述的训练影像数据生成网络的方法或执行上述的影像数据分类的方法。
由此可见，本申请实施例具有如下有益效果：
本申请实施例首先利用第一影像数据和第二影像数据，训练生成第一影像数据生成网络和/或第二影像数据生成网络。将第一影像数据生成网络所生成的第一影像数据输入至第一影像数据鉴别网络得到第一鉴别结果；或，将第二影像数据生成网络所生成的第二影像数据输入至第二影像数据鉴别网络得到第二鉴别结果。并判断第一鉴别结果或第二鉴别结果是否满足预设条件，当第一鉴别结果或第二鉴别结果未满足预设条件时，表明第一影像数据生成网络或第二影像数据生成网络所生成的影像数据无法使用，则根据第一鉴别结果或第二鉴别结果重新训练第一影像数据生成网络或第二影像数据生成网络，直至第一鉴别结果或第二鉴别结果达到预设条件，此时第一影像数据生成网络和/或第二影像数据生成网络训练完成。
在实际使用时，当仅存在第一影像数据或第二影像数据时，将第一影像数据输入第二影像数据生成网络，获得生成的第二影像数据，或将第二影像数据输入第一影像数据生成网络，获得生成的第一影像数据。然后，再将第一影像数据、生成的第二影像数据，或者，生成的第一影像数据、第二影像数据，输入影像数据分类模型，以获得分类结果。可见，通过本申请实施例提供的方案，当仅存在单种医疗影像数据时，可以利用预先训练的生成网络生成其它影像数据，不仅减少时间和成本，同时提高分类的准确性。
附图说明
图1为本申请实施例提供的一种训练影像数据生成网络方法的流程图；
图2为本申请实施例提供的一种训练第一影像数据生成网络方法流程图；
图3为本申请实施例提供的一种训练第一影像数据生成网络框架图；
图4为本申请实施例提供的一种训练第二影像数据生成网络方法流程图；
图5为本申请实施例提供的一种训练第二影像数据生成网络框架图；
图6为本申请实施例提供的另一种训练影像数据生成网络方法的流程图；
图7为本申请实施例提供的一种训练影像数据生成网络框架图；
图8为本申请实施例提供的又一种训练影像数据生成网络方法的流程图；
图9为本申请实施例提供的另一种训练影像数据生成网络框架图；
图10为本申请实施例提供的一种影像数据分类方法的流程图；
图11为本申请实施例提供的一种训练影像数据生成网络装置结构图；
图12为本申请实施例提供的一种影像数据分类装置结构图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
为便于理解本申请实施例提供的技术方案，下面将先对本申请的背景技术进行说明。
发明人经过研究发现，随着医疗影像在临床诊断的地位不断上升以辅助医生进行疾病诊断。然而，在实际应用中，患者可能只有CT图像数据、MRI图像数据、PET图像数据等一种图像数据，为保证医生可以获得更多的医疗数据，需要患者再次进行其他检查以获取其他类型的医疗影像数据，造成时间、成本的增加。
基于此，本申请提供了一种训练影像数据生成网络的方法，即训练获得影像数据生成网络，具体为，根据第一影像数据以及第二影像数据，训练生成第一影像数据生成网络和/或第二影像数据生成网络。同时，利用第一影像数据训练获得第一影像数据鉴别网络，或利用第二影像数据训练获得第二影像数据鉴别网络。即训练后一对影像数据生成网络和影像数据鉴别网络。再利用第一影像数据鉴别网络对第一影像数据生成网络生成的第一影像数据进行鉴别，获得第一鉴别结果。根据该第一鉴别结果重新根据第一影像数据和第二影像数据训练第一影像数据生成网络，直至第一鉴别结果满足预设条件。或利用第二影像数据鉴别网络对第二影像数据生成网络生成的第二影像数据进行鉴别，获得第二鉴别结果。根据该第二鉴别结果重新根据第一影像数据和第二影像数据训练第一影像数据生成网络，直至第二鉴别结果满足预设条件，从而获得第一影像数据生成网络或第二影像数据生成网络。在实际应用时，当仅存在其中一种影像数据生成网络时，可以利用该影像数据生成另一种影像数据，从而将两种影像数据输入影像数据分类模型，以获得更加精确的分类结果。可见，不仅可以减少时间和成本，还可以提供分类结果的准确性。
为便于理解本申请，下面将先对本申请涉及的影像数据生成网络和影像数据鉴别网络进行说明。
在本申请中，影像数据生成网络和影像数据鉴别网络成对存在，其中，影像数据生成网络可以根据输入的一种影像数据生成另一种影像数据，影像数据鉴别网络用于对生成的影像数据进行鉴别，以鉴别出所生成的影像数据的真伪，即鉴别结果为生成的影像数据为“真实”影像数据的概率。如果鉴别结果为1，表明影像数据生成网络所生成的影像数据为“真实”影像数据，如果鉴别结果为0，表明影像数据生成网络所生成的影像数据不可能为“真实”影像数据，如果鉴别结果为0.5，表明影像数据鉴别网络无法分辨影像数据生成网络所生成的影像数据的真伪。
在实际训练过程中，影像数据生成网络的目标是尽量生成“真实”影像数据以欺骗对应的影像数据鉴别网络。而影像数据鉴别网络的目标是尽量把影像数据生成网络所生成的影像数据和“真实”影像数据区分开。即训练过程为影像数据生成网络和影像数据鉴别网络“博弈”过程。最终训练结果为，影像数据生成网络可以生成足以“以假乱真”的影像数据，从而使得影像数据鉴别网络无法鉴别所生成的影像数据的真伪，即影像数据鉴别网络输出的概率为0.5，从而可以利用影像数据生成网络生成影像数据。
需要说明的是，影像数据生成网络和影像数据鉴别网络的训练过程是交替进行，以分别提高各自的生成能力和鉴别能力。假设在第一轮训练中生成第一代影像数据生成网络(不是最终的影像数据生成网络)，利用第一代影像数据生成网络获得生成的影像数据。然后，定义真影像数据的类标签为1，生成的影像数据的类标签为0，利用真影像数据以及类标签1、生成的影像数据以及类标签0训练生成第一代影像数据鉴别网络，使得该第一代影像数据鉴别网络可以准确鉴别出输入的影像数据的真伪。
由于训练影像数据生成网络的目的是尽可能生成逼真的影像数据，而第一代影像数据生成网络所生成的影像数据的真实程度需根据第一代影像数据鉴别网络输出的鉴别结果才能知晓，因此，在训练影像数据生成网络时，需要联合影像数据鉴别网络。在联合训练时，首先固定第一代影像数据鉴别网络的参数，将第一代影像数据生成网络所生成的影像数据输入第一代影像数据鉴别网络，然后根据第一代影像数据鉴别网络输出的概率值计算损失函数，并根据损失函数更新第一代影像数据生成网络，获得第二代影像数据生成网络。
当训练生成第二代影像数据生成网络后，利用第二代影像数据生成网络获得生成的影像数据。然后，定义真影像数据的类标签为1，生成的影像数据的类标签为0，利用真影像数据以及类标签1、生成的影像数据以及类标签0训练生成第二代影像数据鉴别网络，使得该第二代影像数据鉴别网络可以准确鉴别出输入的影像数据的真伪。然后再利用第二代影像数据鉴别网络对第二代影像数据生成网络所生成的影像数据进行鉴别，依次循环，直至最终训练的影像数据鉴别网络无法鉴别出最终的影像数据生成网络所生成的影像数据的真伪。
其中，影像数据生成网络可以包括三个子网络分别为编码子网络、解析转化子网络以及解码子网络。其中，编码子网络，用于提取所输入的影像数据的影响特征，可以包括4个卷积层，对应8个通道、16个通道、32个信道和64个通道。解析转化子网络，用于将编码子网络所提取的影像特征解析传递到解码子网络，包含8个残差网络块。解码子网络用于构建期望生成的影像数据，包含3个反卷积层和一个卷积层，三个反卷积层分别具有8个通道、16个通道和32个通道，卷积层具有1个通道。
影像数据鉴别网络可以包括6个卷积层，分别具有16个通道、32个通道、64个通道、128个通道、256个通道和1个通道。
需要说明的是，本申请中影像数据生成网络和影像数据鉴别网络的具体构成可以根据实际情况确定，本申请实施方式的适用范围不受到该框架任何方面的限制。
基于上述说明，下面将结合附图对本申请实施例提供的一种训练影像数据生成网络的方法进行说明。
参见图1，该图为本申请实施例提供的一种训练影像数据生成网络的方法的流程图，如图1所示，该方法可以包括：
S101：根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络。
本实施例中，同时获取第一影像数据和第二影像数据，并将第一影像数据和第二影像数据作为训练数据，训练获得第一影像数据生成网络和/或第二影像数据生成网络。即可以利用第一影像数据和第二影像数据训练获得第一影像数据生成网络，也可以利用第一影像数据和第二影像数据训练获得第二影像数据生成网络。
在具体实现时，可以利用第一影像数据和第二影像数据同时训练第一影像数据生成网络和第二影像数据生成网络，也可以利用第一影像数据和第二影像数据分别训练第一影像数据生成网络、第二影像数据生成网络。其中，关于利用第一影像数据和第二影像数据生成第一影像数据生成网络和/或第二影像数据生成网络的具体实现将在后续实施进行说明。
可以理解的是，第一影像数据和第二影像数据是两种不同的影像数据，其中，第一影像数据可以为CT图像数据、PET图像数据或者MRI图像数据，第二影像数据为CT图像数据、PET图像数据或者MRI图像数据。
S102：根据第一影像数据生成网络得到生成的第一影像数据，将生成的第一影像数据输入第一影像数据鉴别网络，得到第一鉴别结果；或者，根据第二影像数据生成网络得到生成的第二影像数据，将生成的第二影像数据输入第二影像数据鉴别网络，得到第二鉴别结果。
本实施例中，当通过S101训练获得第一影像数据生成网络、第二影像数据生成网络后，可以利用对应的影像数据鉴别网络对利用影像数据生成网络生成的影像数据进行鉴别，获得对应的鉴别结果。具体为，利用第一影像数据生成网络获得生成的第一影像数据，并将生成的第一影像数据输入第一影像数据鉴别网络，得到第一鉴别结果，以便根据第一鉴别结果确定利用第一影像数据生成网络所生成的第一影像数据是否可以使用；或者，利用第二影像数据生成网络获得生成的第二影像数据，并将生成的第二影像数据输入第二影像数据鉴别网络，得到第二鉴别结果，以便根据第二鉴别结果确定利用第二影像数据生成网络所生成的第二影像是否可以使用。其中，第一影像数据鉴别网络是根据第一影像数据训练的，第二影像数据鉴别网络是根据第二影像数据训练的。
S103：根据所述第一鉴别结果，或者，第二鉴别结果，重新执行根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络，直到第一鉴别结果或者第二鉴别结果达到预设条件。
本实施例中，利用第一影像数据鉴别网络对第一影像数据生成网络所生成的第一影像数据进行鉴别获得第一鉴别结果，判断第一鉴别结果是否满足预设条件，如果满足，表明当前训练的第一影像数据生成网络可以使用。如果不满足，则继续利用第一影像数据和第二影像数据训练第一影像数据生成网络，直至第一鉴别结果满足预设条件。
同理，利用第二影像数据鉴别网络对第二影像数据生成网络生成的第二影像数据进行鉴别获得第二鉴别结果，判断第二鉴别结果是否满足预设条件，如果满足，表明当前训练的第二影像数据生成网络可以使用；如果不满足，则继续利用第一影像数据和第二影像数据训练第二影像数据生成网络，直至第二鉴别结果满足预设条件。其中，预设条件可以根据实际情况设定，例如影像数据鉴别网络输出的概率为0.5。
可以理解的是，在训练生成第一影像数据生成网络的同时，第一影像数据鉴别网络也在被训练，直至第一影像数据生成网络所生成的第一影像数据使得第一影像数据鉴别网络输出的概率为0.5，从而训练生成第一影像数据生成网络。在训练生成第二影像数据生成网络的同时，第二影像数据鉴别网络也在被训练，直至第二影像数据生成网络所生成的第二影像数据使得第二影像数据鉴别网络输出的概率为0.5，从而训练生成第二影像数据生成网络。
通过上述描述可知，首先根据第一影像数据以及第二影像数据，训练生成第一影像数据生成网络和/或第二影像数据生成网络。同时，利用第一影像数据训练获得第一影像数据鉴别网络，或利用第二影像数据训练获得第二影像数据鉴别网络。即训练后一对影像数据生成网络和影像数据鉴别网络。再利用第一影像数据鉴别网络对第一影像数据生成网络生成的第一影像数据进行鉴别，获得第一鉴别结果。根据该第一鉴别结果重新根据第一影像数据和第二影像数据训练第一影像数据生成网络，直至第一鉴别结果满足预设条件。
或利用第二影像数据鉴别网络对第二影像数据生成网络生成的第二影像数据进行鉴别，获得第二鉴别结果。根据该第二鉴别结果重新根据第一影像数据和第二影像数据训练第一影像数据生成网络，直至第二鉴别结果满足预设条件，从而获得第一影像数据生成网络或第二影像数据生成网络。在实际应用时，当仅存在其中一种影像数据生成网络时，可以利用该影像数据生成另一种影像数据，从而将两种影像数据输入影像数据分类模型，以获得更加精确的分类结果。可见，不仅可以减少时间和成本，还可以提供分类结果的准确性。
在上述实施例说明中可知，在利用第一影像数据和第二影像数据训练生成第一影像数据生成网络、第二影像数据生成网络时，既可以分别训练生成，也可以同时训练生成两种影像数据生成网络，下面将分别对两种训练方式进行说明。
需要说明的是，在利用第一影像数据和第二影像数据训练生成影像数据生成网络时，既可以生成第一影像数据生成网络，也可以生成第二影像数据生成网络，下面将分别说明两种影像数据生成网络训练生成的具体实现。
参见图2，该图为本申请实施例提供的一种训练第一影像数据生成网络方法的流程图，如图2所示，该方法可以包括：
S201：根据第一影像数据以及第二影像数据，训练第一影像数据生成网络。
本实施例中，首先可以获取大量的第一影像数据和第二影像数据，然后利用第一影像数据和第二影像数据训练第一影像数据生成网络，以使得训练生成的第一影像数据生成网络学习如何利用第二影像数据生成第一影像数据的知识。
在具体训练时，第一影像数据生成网络提取第一影像数据和第二影像数据的影像特征，并解析第二影像数据的影像特征与第一影像数据的影像特征之间的关联关系，以便根据该关联关系以及第二影像数据生成第一影像数据。
需要说明的是，本实施例中S201为S101根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络的一种可能的具体实现。
S202：将第二影像数据输入第一影像数据生成网络，获得生成的第一影像数据。
S203：根据第一影像数据和生成的第一影像数据，训练第一影像数据鉴别网络。
本实施例中，当训练生成第一影像数据生成网络后，将第二影像数据输入第一影像数据生成网络以获得生成的第一影像数据。然后，利用真实的第一影像数据以及生成的第一影像数据训练生成第一影像数据鉴别网络，使得训练的第一影像数据鉴别网络可以学习真实的第一影像数据以及生成的第一影像数据各自所对应的特征，进而使得第一影像数据鉴别网络可以鉴别所输入的影像数据的真伪。
S204：将生成的第一影像数据输入第一影像数据鉴别网络，得到第一鉴别结果。
S205：根据第一鉴别结果，重新执行根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及后续步骤，直到第一鉴别结果达到预设条件。
本实施例中，当训练生成第一影像数据生成网络和第一影像数据鉴别网络后，为检验第一影像数据生成网络所生成的第一影像数据是否无法被第一影像数据鉴别网络鉴别出真伪，则将生成的第一影像数据输入第一影像数据鉴别网络，获得第一鉴别结果。并判断第一鉴别结果是否满足预设条件，如果不满足，则根据鉴别结果重新执行S201-204，直至第一鉴别结果达到预设条件，以训练生成第一影像数据生成网络。
其中，预设条件可以为第一影像数据鉴别网络输出的概率为0.5，即第一影像数据鉴别网络无法鉴别出输入的影像数据的真伪。如果第一鉴别结果为0.2，则重新训练第一影像数据生成网络和第一影像数据鉴别网络，直至训练的第一影像数据生成网络所生成的第一影像数据在输入至第一影像数据鉴别网络后，第一影像数据鉴别网络输出的第一鉴别结果为0.5，无法鉴别输入数据的真伪。
在实际应用中，根据第一鉴别结果，重新执行S201-S204训练过程，具体可以为，根据第一鉴别结果计算生成的第一影像数据与真实的第一影像数据的损失函数，然后根据损失函数、第一影像数据以及第二影像训练第一影像数据生成网络。再利用第二影像数据以及第二次训练的第一影像数据生成网络获得生成的第一影像数据，并根据第一影像数据和生成的第一影像数据训练第一影像数据鉴别网络。将第二次训练的第一影像数据生成网络所生成的第一影像数据输入第二次训练的第一影像数据鉴别网络得到第一鉴别结果，如果第一鉴别结果满足预设条件，则停止训练，否则根据第二次的第一鉴别结果重新训练第一影像数据生成网络以及后续步骤。
例如，第一影像数据为CT图像数据，第二影像数据为MRI图像数据，利用CT图像数据和MRI图像数据训练CT图像数据生成网络。然后，将MRI图像数据输入CT图像数据生成网络，获得生成的CT图像数据。再利用CT图像数据和生成的CT图像数据训练CT图像数据鉴别网络。将生成的CT图像数据作为输入数据，输入至CT图像数据鉴别网络，如果CT图像数据鉴别网络输出的概率小于0.5，则根据概率值确定损失函数，利用损失函数、CT图像数据、MRI图像数据继续训练CT图像数据生成网络。
需要说明的是，本实施例中S205为S103根据第一鉴别结果，或者，第二鉴别结果，重新执行根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络，直到第一鉴别结果或者第二鉴别结果达到预设条件的一种可能的具体实现。
为便于理解本实施例训练过程，参见图3所示的训练框架图，在初次训练时，利用第一影像数据和第二影像数据训练第一影像数据生成网络，并将第一影像数据生成网络所生成的第一影像数据以及第一影像数据作为训练数据训练第一影像数据鉴别网络。再将生成的第一影像数据输入第一影像数据鉴别网络，获得第一鉴别结果。根据第一鉴别结果、第一影像数据以及第二影像数据继续训练第一影像数据生成网络以及第一影像数据鉴别网络，直至第一鉴别结果满足预设条件。
通过上述描述可知，可以利用第一影像数据和第二影像数据训练生成第一影像数据生成网络，当在实际应用中，仅存在第二影像数据时，可以利用第二影像数据和第一影像数据生成网络获得生成的第一影像数据。然后，利用生成的第一影像数据和第二影像数据进行分类，不仅减少时间和成本，同时提高分类的准确性。
上述实施例介绍了第一影像数据生成网络和第一影像数据鉴别网络的训练过程，下面将结合附图对第二影像数据生成网络和第二影像数据鉴别网络的训练过程进行说明。
参见图4，该图为本申请实施例提供的一种训练第二影像数据生成网络方法的流程图，如图4所示，该方法可以包括：
S401：根据第一影像数据以及第二影像数据，训练第二影像数据生成网络。
本实施例中，首先获取大量的第一影像数据和第二影像数据，然后利用第一影像数据和第二影像数据训练第二影像数据生成网络，以使得训练生成的第二影像数据生成网络学习如何利用第一影像数据生成第二影像数据的知识。
在具体训练时，第一影像数据生成网络提取第一影像数据和第二影像数据的影像特征，并解析第一影像数据的影像特征与第二影像数据的影像特征之间的关联关系，以便根据该关联关系以及第一影像数据生成第二影像数据。
需要说明的是，本实施例中S401为S101根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络的一种可能的具体实现。
S402：将第一影像数据输入所述第二影像数据生成网络，获得生成的第二影像数据。
S403：根据第二影像数据和生成的第二影像数据，训练第二影像数据鉴别网络。
本实施例中，当训练生成第二影像数据生成网络后，将第一影像数据输入第二影像数据生成网络以获得生成的第二影像数据。然后，利用真实的第二影像数据以及生成的第二影像数据训练生成第二影像数据鉴别网络，使得训练的第二影像数据鉴别网络可以学习真实的第二影像数据以及生成的第二影像数据各自所对应的特征，进而使得第二影像数据鉴别网络可以鉴别所输入的影像数据的真伪。
S404：将生成的第二影像数据输入第二影像数据鉴别网络，得到第二鉴别结果。
S405：根据第二鉴别结果，重新执行根据第一影像数据以及第二影像数据，训练第二影像数据生成网络以及后续步骤，直到第二鉴别结果达到预设条件。
本实施例中，当训练生成第二影像数据生成网络和第二影像数据鉴别网络后，为检验第二影像数据生成网络所生成的第二影像数据是否无法被第二影像数据鉴别网络鉴别出真伪，则将生成的第二影像数据输入第二影像数据鉴别网络，获得第二鉴别结果。并判断第二鉴别结果是否满足预设条件，如果不满足，则根据第二鉴别结果重新执行S401-404，直至第二鉴别结果达到预设条件，以训练生成第二影像数据生成网络。
其中，预设条件可以为第二影像数据鉴别网络输出的概率为0.5，即第二影像数据鉴别无法鉴别出输入的影像数据的真伪。如果第二鉴别结果为输入数据为真实第二影像数据的概率为0.3，则重新训练第二影像数据生成网络和第二影像数据鉴别网络，直至训练的第二影像数据生成网络所生成的第二影像数据在输入至第二影像数据鉴别网络后，第二影像数据鉴别网络输出的第二鉴别结果为0.5，无法鉴别输入数据的真伪。
在实际应用中，根据第二鉴别结果，重新执行S401-S404训练过程，具体可以为，根据第二鉴别结果计算生成的第二影像数据与真实的第二影像数据的损失函数，然后根据损失函数、第一影像数据以及第二影像训练第二影像数据生成网络。再利用第一影像数据以及第二次训练的第二影像数据生成网络获得生成的第二影像数据，并根据第二影像数据和生成的第二影像数据训练第二影像数据鉴别网络。将第二次训练的第二影像数据生成网络所生成的第二影像数据输入第二次训练的第二影像数据鉴别网络得到第二鉴别结果，如果第二鉴别结果满足预设条件，则停止训练，否则根据第二次的第二鉴别结果重新训练第而影像数据生成网络以及后续步骤。
例如，第一影像数据为CT图像数据，第二影像数据为MRI图像数据，利用CT图像数据和MRI图像数据训练MRI图像数据生成网络。然后，将CT图像数据输入MRI图像数据生成网络，获得生成的MRI图像数据。再利用MRI图像数据和生成的MRI图像数据训练MRI图像数据鉴别网络。将生成的MRI图像数据作为输入数据，输入至MRI图像数据鉴别网络，如果MRI图像数据鉴别网络输出的鉴别结果概率小于0.5，则根据概率值确定损失函数，利用损失函数、CT图像数据、MRI图像数据继续训练MRI图像数据生成网络。
需要说明的是，本实施例中S405为S103根据第一鉴别结果，或者，第二鉴别结果，重新执行根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络，直到第一鉴别结果或者第二鉴别结果达到预设条件的一种可能的具体实现。
为便于理解本实施例训练过程，参见图5所示的训练框架图，在初次训练时，利用第一影像数据和第二影像数据训练第二影像数据生成网络，并将第二影像数据生成网络所生成的第二影像数据以及第二影像数据作为训练数据训练第二影像数据鉴别网络。再将生成的第二影像数据输入第二影像数据鉴别网络，获得第二鉴别结果。根据第二鉴别结果、第一影像数据以及第二影像数据继续训练第二影像数据生成网络以及第二影像数据鉴别网络，直至第二鉴别结果满足预设条件。
通过上述描述可知，可以利用第一影像数据和第二影像数据训练生成第二影像数据生成网络，当在实际应用中，仅存在第一影像数据时，可以利用第一影像数据和第二影像数据生成网络获得生成的第二影像数据。然后，利用生成的第二影像数据和第一影像数据进行分类，不仅减少时间和成本，同时提高分类的准确性。
上述实施例介绍了单独训练第一影像数据生成网络和第二影像数据生成网络的实现，下面将介绍联合训练第一影像数据生成网络和第二影像数据生成网络的实现。
参见图6，该图为本申请实施例提供的一种训练影像数据生成网络方法的流程图，如图6所示，该方法可以包括：
S601：根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络。
本实施例中，获取第一影像数据和第二影像数据，然后利用第一影像数据和第二影像数据，分别训练生成第一影像数据生成网络和第二影像数据生成网络，以使得训练生成的第一影像数据生成网络可以根据第二影像数据生成第一影像数据，第二影像数据生成网络可以根据第一影像数据生成第二影像数据。
需要说明的是，本实施例中S601为S101根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络的一种可能的具体实现。
S602：将第二影像数据输入所述第一影像数据生成网络，获得生成的第一影像数据。
S603：将生成的第一影像数据输入第二影像数据生成网络，获得生成的第二影像数据。
本实施例中，当训练生成第一影像数据生成网络和第二影像数据生成网络后，将第二影像数据输入第一影像数据生成网络，获得生成的第一影像数据。然后，在将生成的第一影像数据作为输入数据输入第二影像数据生成网络，获得生成的第二影像数据。即将第一影像数据生成网络的输出作为第二影像数据生成网络的输入，从而获得生成的第二影像数据。
S604：根据第二影像数据和生成的第二影像数据，训练第二影像数据鉴别网络。
本实施例中，当获得生成的第二影像数据后，利用真实的第二影像数据和生成的第二影像数据训练生成第二影像数据鉴别网络，以使得训练的第二影像数据鉴别网络可以学习真实的第二影像数据以及生成的第二影像数据各自对应的特征，进而使得第二影像数据鉴别网络可以鉴别所输入的影像数据的真伪。
S605：将生成的第二影像数据输入第二影像数据鉴别网络，得到第二鉴别结果。
S606：根据第二鉴别结果，重新执行根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络以及后续步骤，直到第二鉴别结果达到预设条件。
本实施例中，当训练生成第二影像数据鉴别网络后，将生成的第二影像数据作为输入数据输入第二影像数据鉴别网络，获得第二鉴别结果。并判断第二鉴别结果是否满足预设条件，如果不满足，则根据第二鉴别结果重新执行S601-S605，直至第二鉴别结果满足预设条件，以训练生成第一影像数据生成网络以及第二影像数据生成网络。
其中，预设条件可以为第二影像数据鉴别网络输出的概率为0.5，即第二影像数据鉴别网络无法鉴别输入的影像数据的真伪。如果第二影像数据鉴别网络输出的概率小于0.5，则重新训练第一影像数据生成网络和第二影像数据生成网络，直至训练的第一影像数据生成网络所生成的第一影像数据在输入至第二影像数据生成网络后，所生成的第二影像数据无法被第二影像数据鉴别网络鉴别真伪，即第二影像数据鉴别网络输出的概率为0.5。
其中，根据第二鉴别结果，重新执行S601-S605训练过程。具体可以为，根据第二鉴别结果计算生成损失函数，该损失函数可以包括第一影像数据生成网络所生成的第一影像数据与真实数据的误差，也可以包括第二影像数据生成网络所生成的第二影像数据与真实数据的误差。在具体实现时，可以先将第二影像数据生成网络的参数固定不变，然后根据损失函数、第一影像数据和第二影像数据训练第一影像数据生成网络，直至达到预设训练次数或者第二影像数据鉴别网络输出的鉴别结果与上次输出的鉴别结果相同。即此时第二影像数据鉴别网络的鉴别能力在当前条件下已达上限，则再固定第一影像数据生成网络的参数，根据当前第二影像数据鉴别网络输出的第二鉴别结果对应的损失函数、第一影像数据和第二影像数据训练第二影像数据生成网络以及后续步骤，直至第二鉴别结果满足预设条件。
需要说明的是，本实施例中S606为S103根据第一鉴别结果，或者，第二鉴别结果，重新执行根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络，直到第一鉴别结果或者第二鉴别结果达到预设条件的一种可能的具体实现。
为便于理解本实施训练过程，参见图7所示的训练框架图，在初次训练时，利用第一影像数据和第二影像数据分别训练第一影像数据生成网络、第二影像数据生成网络。并将第二影像数据输入第一影像数据生成网络获得生成的第一影像数据，将生成的第一影像数据输入第二影像数据生成网络获得生成的第二影像数据。将生成的第二影像数据以及第二影像数据作为训练数据训练第二影像数据鉴别网络。再将生成的第二影像数据输入第二影像数据鉴别网络，获得第二鉴别结果。将根据第二鉴别结果、第一影像数据以及第二影像数据继续训练第二影像数据生成网络以及第二影像数据生成网络，直至第二鉴别结果满足预设条件。
参见图8，该图为本申请实施例提供的一种训练影像数据生成网络的方法流程图，如图8所示，该方法可以包括：
S801：根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络。
本实施例中，获取第一影像数据和第二影像数据，然后利用第一影像数据和第二影像数据，分别训练生成第一影像数据生成网络和第二影像数据生成网络，以使得训练生成的第一影像数据生成网络可以根据第二影像数据生成第一影像数据，第二影像数据生成网络可以根据第一影像数据生成第二影像数据。
需要说明的是，本实施例中S801为S101根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络的一种可能的具体实现。
S802：将第一影像数据输入第二影像数据生成网络，获得生成的第二影像数据。
S803：将生成的第二影像数据输入第一影像数据生成网络，获得生成的第一影像数据。
本实施例中，当训练生成第一影像数据生成网络和第二影像数据生成网络后，将第一影像数据输入第二生成影像数据生成网络，获得生成的第二影像数据。然后，再将生成的第二影像数据作为输入数据输入第一影像数据生成网络，获得生成的第一影像数据。即将第二影像数据生成网络的输出作为第一影像数据生成网络的输入，从而获得生成的第一影像数据。
S804：根据第一影像数据和生成的第一影像数据，训练第一影像数据鉴别网络。
本实施例中，当获得生成的第一影像数据后，利用真实的第一影像数据和生成的第一影像数据训练生成第一影像数据鉴别网络，以使得训练的第一影像数据鉴别网络可以学习真实的第一影像数据以及生成的第一影像数据各自对应的特征，进而使得第一影像数据鉴别网络可以鉴别所输入的影像数据的真伪。
S805：将生成的第一影像数据输入所述第一影像数据鉴别网络，得到第一鉴别结果。
S806：根据第一鉴别结果，重新执行根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络以及后续步骤，直到第一鉴别结果达到预设条件。
本实施例中，当训练生成第一影像数据鉴别网络后，将生成的第一影像数据作为输入数据输入第一影像数据鉴别网络，获得第一鉴别结果。并判断第一鉴别结果是否满足预设条件，如果不满足，则根据第一鉴别结果重新执行S801-S805，直至第一鉴别结果满足预设条件，以训练生成第一影像数据生成网络以及第二影像数据生成网络。
其中，预设条件可以为第一影像数据鉴别网络输出的概率为0.5，即第一影像数据鉴别网络无法鉴别输入的影像数据的真伪。如果第一鉴别结果为0.2，则重新训练第一影像数据生成网络和第二影像数据生成网络，直至训练的第二影像数据生成网络所生成的第二影像数据在输入至第一影像数据生成网络后，所生成的第一影像数据无法被第一影像数据鉴别网络鉴别真伪，即第一影像数据鉴别网络输出的概率为0.5。
其中，根据第一鉴别结果，重新执行S801-S805训练过程。具体可以为，根据第一鉴别结果计算生成损失函数，该损失函数可以包括第一影像数据生成网络所生成的第一影像数据与真实数据的误差，也可以包括第二影像数据生成网络所生成的第二影像数据与真实数据的误差。在具体实现时，可以先将第二影像数据生成网络的参数固定不变，然后根据损失函数、第一影像数据和第二影像数据训练第一影像数据生成网络，直至达到预设训练次数或者第一影像数据鉴别网络输出的鉴别结果与上次输出的鉴别结果相同。即此时第二影像数据鉴别网络的鉴别能力在当前条件下已达上限，则再固定第一影像数据生成网络的参数，根据当前第一鉴别结果对应的损失函数、第一影像数据和第二影像数据训练第二影像数据生成网络以及后续步骤，直至第一鉴别结果满足预设条件。
需要说明的是，本实施例中S806为S103根据第一鉴别结果，或者，第二鉴别结果，重新执行根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络，直到第一鉴别结果或者第二鉴别结果达到预设条件的一种可能的具体实现。
为便于理解本实施训练过程，参见图9所示的训练框架图，在初次训练时，利用第一影像数据和第二影像数据分别训练第一影像数据生成网络、第二影像数据生成网络。并将第一影像数据输入第二影像数据生成网络获得生成的第二影像数据，将生成的第二影像数据输入第一影像数据生成网络获得生成的第一影像数据。将生成的第一影像数据以及第一影像数据作为训练数据训练第一影像数据鉴别网络。再将生成的第一影像数据输入第一影像数据鉴别网络，获得第一鉴别结果。将根据第一鉴别结果、第一影像数据以及第二影像数据继续训练第一影像数据生成网络以及第二影像数据生成网络，直至第一鉴别结果满足预设条件。
上述实施例介绍了影像数据生成网络的训练过程，下面将结合附图对如何利用影像数据生成网络进行说明。
参见图10，该图为本申请实施例提供的一种影像数据分类方法的流程图，如图10所示，该方法可以包括：
S1001：当仅存在第一影像数据时，将第一影像数据输入第二影像数据生成网络，获得生成的第二影像数据。
S1002：当仅存在第二影像数据时，将所述第二影像数据输入第一影像数据生成网络，获得生成的第一影像数据。
本实施例中，在根据影像数据进行分类时，当仅存在一种影像数据时，为保证影像数据分类结果的准确性，可以根据存在的影像数据生成另一种影像数据。具体为，当仅存在第一影像数据时，将第一影像数据输入第二影像数据生成网络，获得生成的第二影像数据；当仅存在第二影像数据时，将第二影像数据输入第一影像数据生成网络，获得生成的第二影像数据，从而保证在进行分类时，可以根据两种影像数据输出分类结果。其中，第一影像数据生成网络以及第二影像数据生成网络是根据上述实施例训练得到的。
其中，第一影像数据与第二影像数据不同，第一影像数据为计算机断层扫描CT图像数据、正电子发射型计算机断层显像PET图像数据或者MRI图像数据，第二影像数据为CT图像数据、PET图像数据或者磁共振成像MRI图像数据。
S1003：将第一影像数据、生成的第二影像数据，或者，生成的第一影像数据、第二影像数据，或者，第一影像数据、第二影像数据输入影像数据分类模型，获得影像数据分类模型输出的分类结果。
本实施例中，当获取成对的影像数据后，将成对的影像数据输入影像数据分类模型中，以获得该成对的影像数据对应的分类结果。具体为，将第一影像数据和生成的第二影像数据输入影像数据分类模型，获得该对影像数据对应的分类结果；将生成的第一影像数据和第二影像数据输入影像数据分类模型，获得该对影像数据对应的分类结果。可以理解的是，当在实际应用中，第一影像数据和第二影像数据均存在时，将第一影像数据和第二影像数据输入影像数据分类模型，获得该对影像数据对应的分类结果。即，本实施例根据两种影像数据进行分类，相比于现有利用单一影像数据进行分类的结果更加准确。
在本实施例中，影像数据分类模型是根据第一影像数据、第二影像数据以及对应的分类标签训练生成的。在具体实现时，可以获取大量成对的第一影像数据和第二影像数据，并为每对影像数据添加分类标签。然后，利用第一影像数据、第二影像数据以及该对影像数据对应的分类标签训练初始模型，以训练生成影像数据分类模型。在实际应用时，当获取成对的影像数据时，可以利用成对的影像数据特征进行分类。
其中，影像数据分类模型可以为深度卷积神经网络模型，该深度卷积神经网络模型可以包括三个卷积层，并在前两层卷积层之后设置一个最大池化层，之后连接一个完全连接层。卷积核的尺寸分别为(第一层：7×7×7共64个卷积核，第三层：7×7×7共128个卷积核，第五层：6×6×6共512个卷积核)。特征图的数量增加为与层的深度成比例的2,64,128和512。池化核的尺寸分别为(第二层：3×3×3步长为2，第四层3×3×3步长为2)，激活函数为Relu。
通过本实施例可知，在实际应用中，当仅存在一种影像数据时，可以利用对应的影像数据生成网络生成另一种影像数据，从而获得成对的影像数据。再将成对的影像数据输入影像数据分类模型，以使得影像数据分类模型可以两种影像数据的特征进行分类，提高分类准确性。
基于上述方法实施例，本申请还提供了一种训练影像数据生成网络的装置和影像数据分类装置，下面将结合附图对该装置进行说明。
参见图11，该图为本申请实施例提供的一种训练影像数据生成网络的装置结构图，如图11所示，该装置可以包括：
第一训练单元1101，用于根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络；
生成单元1102，用于根据所述第一影像数据生成网络得到生成的第一影像数据，将所述生成的第一影像数据输入第一影像数据鉴别网络，得到第一鉴别结果；或者，根据所述第二影像数据生成网络得到生成的第二影像数据，将所述生成的第二影像数据输入第二影像数据鉴别网络，得到第二鉴别结果；所述第一影像数据鉴别网络是根据所述第一影像数据训练的，所述第二影像数据鉴别网络是根据所述第二影像数据训练的；
第二训练单元1103，用于根据所述第一鉴别结果，或者，根据所述第二鉴别结果，重新触发第一训练单元根据第一影像数据以及第二影像数据，训练第一影像数据生成网络和/或第二影像数据生成网络，直到所述第一鉴别结果或者所述第二鉴别结果达到预设条件。
在一种可能的实现方式中，所述第一训练单元，具体用于根据第一影像数据以及第二影像数据，训练第一影像数据生成网络；
所述生成单元，具体用于将所述第二影像数据输入所述第一影像数据生成网络，获得生成的第一影像数据；根据所述第一影像数据和所述生成的第一影像数据，训练第一影像数据鉴别网络；将所述生成的第一影像数据输入所述第一影像数据鉴别网络，得到第一鉴别结果；
所述第二训练单元，具体用于根据所述第一鉴别结果，重新触发所述第一训练单元根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及后续步骤，直到所述第一鉴别结果达到预设条件。
在一种可能的实现方式中，所述第一训练单元，用于根据第一影像数据以及第二影像数据，训练第二影像数据生成网络；
所述生成单元，具体用于将所述第一影像数据输入所述第二影像数据生成网络，获得生成的第二影像数据；根据所述第二影像数据和所述生成的第二影像数据，训练第二影像数据鉴别网络；将所述生成的第二影像数据输入所述第二影像数据鉴别网络，得到第二鉴别结果；
所述第二训练单元，具体用于根据所述第二鉴别结果，重新执行所述根据第一影像数据以及第二影像数据，训练第二影像数据生成网络以及后续步骤，直到所述第二鉴别结果达到预设条件。
在一种可能的实现方式中，所述第一训练单元，具体用于根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络；
所述生成单元，具体用于将所述第二影像数据输入所述第一影像数据生成网络，获得生成的第一影像数据；将所述生成的第一影像数据输入所述第二影像数据生成网络，获得生成的第二影像数据；根据所述第二影像数据和所述生成的第二影像数据，训练第二影像数据鉴别网络；将所述生成的第二影像数据输入所述第二影像数据鉴别网络，得到第二鉴别结果；
所述第二训练单元，具体用于根据所述第二鉴别结果，重新触发所述第一训练单元根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络以及后续步骤，直到所述第二鉴别结果达到预设条件。
在一种可能的实现方式中，所述第一训练单元，用于根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络；
所述生成单元，具体用于将所述第一影像数据输入所述第二影像数据生成网络，获得生成的第二影像数据；将所述生成的第二影像数据输入所述第一影像数据生成网络，获得生成的第一影像数据；根据所述第一影像数据和所述生成的第一影像数据，训练第一影像数据鉴别网络；将所述生成的第一影像数据输入所述第一影像数据鉴别网络，得到第一鉴别结果；
所述第二训练单元，具体用于根据所述第一鉴别结果，重新触发所述第一训练单元根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络以及后续步骤，直到所述第一鉴别结果达到预设条件。
在一种可能的实现方式中，所述第一影像数据与所述第二影像数据不同，所述第一影像数据为计算机断层扫描CT图像数据、正电子发射型计算机断层显像PET图像数据或者磁共振成像MRI图像数据，所述第二影像数据为CT图像数据、PET图像数据或者MRI图像数据。
需要说明的是，本实施例中各个单元的具体实现可以参见上述方法实施例，本实施例在此不再赘述。
参见图12，该图为本申请实施例提供的一种影像数据分类装置结构图，如图12所示，所述装置包括：
第一获取单元1201，用于当仅存在第一影像数据时，将所述第一影像数据输入第二影像数据生成网络，获得生成的第二影像数据；
第二获取单元1202，用于当仅存在第二影像数据时，将所述第二影像数据输入第一影像数据生成网络，获得生成的第一影像数据；所述第一影像数据生成网络以及所述第二影像数据生成网络是根据上述的训练影像数据生成网络的方法训练得到的；
第三获取单元1203，用于将所述第一影像数据、所述生成的第二影像数据，或者，所述生成的第一影像数据、所述第二影像数据，或者，所述第一影像数据、所述第二影像数据输入影像数据分类模型，获得所述影像数据分类模型输出的分类结果。
在一种可能的实现方式中，所述影像数据分类模型是根据所述第一影像数据、所述第二影像数据以及对应的分类标签训练生成的。
在一种可能的实现方式中，所述第一影像数据与所述第二影像数据不同，所述第一影像数据为计算机断层扫描CT图像数据、正电子发射型计算机断层显像PET图像数据或者磁共振成像MRI图像数据，所述第二影像数据为CT图像数据、PET图像数据或者MRI图像数据。
需要说明的是，本实施例中各单元的具体实现可以参见上述方法实施例，本实施例在此不再赘述。
另外，本申请实施例还提供了一种计算机可读存储介质，其特征在于，所述机算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备上述的训练影像数据生成网络的方法或执行影像数据分类的方法。
本申请实施例还提供了一种计算机程序产品，其特征在于，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行所述的训练影像数据生成网络的方法或执行所述的影像数据分类的方法。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种训练影像数据生成网络的方法，其特征在于，所述方法包括：
根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络；所述第一影像数据生成网络以及所述第二影像数据生成网络包括编码子网络、解析转化子网络以及解码子网络；所述编码子网络，用于提取所输入的影像数据的影像特征；所述解析转化子网络，用于将所述编码子网络所提取的影像特征解析传递到所述解码子网络；所述解码子网络用于构建期望生成的影像数据；
将所述第二影像数据输入所述第一影像数据生成网络，获得生成的第一影像数据；将所述生成的第一影像数据输入所述第二影像数据生成网络，获得生成的第二影像数据；根据所述第二影像数据和所述生成的第二影像数据，训练第二影像数据鉴别网络；将所述生成的第二影像数据输入所述第二影像数据鉴别网络，得到第二鉴别结果；根据所述第二鉴别结果，重新执行所述根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络，直到所述第二鉴别结果达到预设条件；
或者，将所述第一影像数据输入所述第二影像数据生成网络，获得生成的第二影像数据；将所述生成的第二影像数据输入所述第一影像数据生成网络，获得生成的第一影像数据；根据所述第一影像数据和所述生成的第一影像数据，训练第一影像数据鉴别网络；将所述生成的第一影像数据输入所述第一影像数据鉴别网络，得到第一鉴别结果；根据所述第一鉴别结果，重新执行所述根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络，直到所述第一鉴别结果达到预设条件。
2.根据权利要求1所述的方法，其特征在于，所述第一影像数据与所述第二影像数据不同，所述第一影像数据为计算机断层扫描CT图像数据、正电子发射型计算机断层显像PET图像数据或者磁共振成像MRI图像数据，所述第二影像数据为CT图像数据、PET图像数据或者MRI图像数据。
3.一种影像数据分类方法，其特征在于，所述方法包括：
当仅存在第一影像数据时，将所述第一影像数据输入第二影像数据生成网络，获得生成的第二影像数据；
当仅存在第二影像数据时，将所述第二影像数据输入第一影像数据生成网络，获得生成的第一影像数据；所述第一影像数据生成网络以及所述第二影像数据生成网络是根据权利要求1-2任一项所述的训练影像数据生成网络的方法训练得到的；
将所述第一影像数据、所述生成的第二影像数据，或者，所述生成的第一影像数据、所述第二影像数据，或者，所述第一影像数据、所述第二影像数据输入影像数据分类模型，获得所述影像数据分类模型输出的分类结果。
4.一种训练影像数据生成网络的装置，其特征在于，所述装置包括：
第一训练单元，用于根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络；所述第一影像数据生成网络以及所述第二影像数据生成网络包括编码子网络、解析转化子网络以及解码子网络；所述编码子网络，用于提取所输入的影像数据的影像特征；所述解析转化子网络，用于将所述编码子网络所提取的影像特征解析传递到所述解码子网络；所述解码子网络用于构建期望生成的影像数据；
生成单元，具体将所述第二影像数据输入所述第一影像数据生成网络，获得生成的第一影像数据；将所述生成的第一影像数据输入所述第二影像数据生成网络，获得生成的第二影像数据；根据所述第二影像数据和所述生成的第二影像数据，训练第二影像数据鉴别网络；将所述生成的第二影像数据输入所述第二影像数据鉴别网络，得到第二鉴别结果；
第二训练单元，用于根据所述第二鉴别结果，重新触发所述第一训练单元根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络以及后续步骤，直到所述第二鉴别结果达到预设条件；
或者，
生成单元，用于将所述第一影像数据输入所述第二影像数据生成网络，获得生成的第二影像数据；将所述生成的第二影像数据输入所述第一影像数据生成网络，获得生成的第一影像数据；根据所述第一影像数据和所述生成的第一影像数据，训练第一影像数据鉴别网络；将所述生成的第一影像数据输入所述第一影像数据鉴别网络，得到第一鉴别结果；
所述第二训练单元，用于根据所述第一鉴别结果，重新触发所述第一训练单元根据第一影像数据以及第二影像数据，训练第一影像数据生成网络以及第二影像数据生成网络以及后续步骤，直到所述第一鉴别结果达到预设条件。
5.一种影像数据分类装置，其特征在于，所述装置包括：
第一获取单元，用于当仅存在第一影像数据时，将所述第一影像数据输入第二影像数据生成网络，获得生成的第二影像数据；
第二获取单元，用于当仅存在第二影像数据时，将所述第二影像数据输入第一影像数据生成网络，获得生成的第一影像数据；所述第一影像数据生成网络以及所述第二影像数据生成网络是根据权利要求1-2任一项所述的训练影像数据生成网络的方法训练得到的；
第三获取单元，用于将所述第一影像数据、所述生成的第二影像数据，或者，所述生成的第一影像数据、所述第二影像数据，或者，所述第一影像数据、所述第二影像数据输入影像数据分类模型，获得所述影像数据分类模型输出的分类结果。
6.一种计算机可读存储介质，其特征在于，所述计 算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-2任一项所述的训练影像数据生成网络的方法或执行权利要求3所述的影像数据分类的方法。
CN201910376285.1A 2019-05-07 2019-05-07 训练影像数据生成网络的方法、影像数据分类方法及装置 Active CN110147830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910376285.1A CN110147830B (zh) 2019-05-07 2019-05-07 训练影像数据生成网络的方法、影像数据分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910376285.1A CN110147830B (zh) 2019-05-07 2019-05-07 训练影像数据生成网络的方法、影像数据分类方法及装置

Publications (2)

Publication Number Publication Date
CN110147830A CN110147830A (zh) 2019-08-20
CN110147830B true CN110147830B (zh) 2022-02-11

Family

ID=67594942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910376285.1A Active CN110147830B (zh) 2019-05-07 2019-05-07 训练影像数据生成网络的方法、影像数据分类方法及装置

Country Status (1)

Country Link
CN (1) CN110147830B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821681A (zh) * 2022-06-27 2022-07-29 深圳市魔力信息技术有限公司 一种指纹增广方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765294A (zh) * 2018-06-11 2018-11-06 深圳市唯特视科技有限公司 一种基于全卷积网络和条件生成对抗网络的图像合成方法
CN108960260A (zh) * 2018-07-12 2018-12-07 东软集团股份有限公司 一种分类模型生成方法、医学影像图像分类方法及装置
CN108961198A (zh) * 2018-07-09 2018-12-07 中国海洋大学 一种多风格生成对抗网络的水下图像合成方法及其应用
CN109359685A (zh) * 2018-10-17 2019-02-19 西安邮电大学 基于特征选择的多模态数据分类方法
CN109493308A (zh) * 2018-11-14 2019-03-19 吉林大学 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN109637634A (zh) * 2018-12-11 2019-04-16 厦门大学 一种基于生成对抗网络的医学图像合成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268913B2 (en) * 2017-04-03 2019-04-23 General Electric Company Equipment damage prediction system using neural networks
US10262236B2 (en) * 2017-05-02 2019-04-16 General Electric Company Neural network training image generation system
CN107577985B (zh) * 2017-07-18 2019-10-15 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
CN107451994A (zh) * 2017-07-25 2017-12-08 宸盛科华（北京）科技有限公司 基于生成对抗网络的物体检测方法及装置
US11257259B2 (en) * 2017-08-15 2022-02-22 Siemens Healthcare Gmbh Topogram prediction from surface data in medical imaging
US10726304B2 (en) * 2017-09-08 2020-07-28 Ford Global Technologies, Llc Refining synthetic data with a generative adversarial network using auxiliary inputs
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN108334904A (zh) * 2018-02-07 2018-07-27 深圳市唯特视科技有限公司 一种基于统一生成对抗网络的多域图像转换技术

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765294A (zh) * 2018-06-11 2018-11-06 深圳市唯特视科技有限公司 一种基于全卷积网络和条件生成对抗网络的图像合成方法
CN108961198A (zh) * 2018-07-09 2018-12-07 中国海洋大学 一种多风格生成对抗网络的水下图像合成方法及其应用
CN108960260A (zh) * 2018-07-12 2018-12-07 东软集团股份有限公司 一种分类模型生成方法、医学影像图像分类方法及装置
CN109359685A (zh) * 2018-10-17 2019-02-19 西安邮电大学 基于特征选择的多模态数据分类方法
CN109493308A (zh) * 2018-11-14 2019-03-19 吉林大学 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN109637634A (zh) * 2018-12-11 2019-04-16 厦门大学 一种基于生成对抗网络的医学图像合成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep MR to CT Synthesis Using Unpaired Data;Jelmer M . Wolterink 等;《SASHIMI 2017: Simulation and Synthesis in Medical Imaging》;20170926;14-23 *
Tumor-Aware, Adversarial Domain Adaptation from CT to MRI for Lung Cancer Segmentation;Jue Jiang 等;《MICCAI 2018: Medical Image Computing and Computer Assisted Intervention》;20180926;第777-785页，第2.1节，图2 *
生成式对抗网络GAN的研究进展与展望;王坤峰 等;《自动化学报》;20170331;第43卷(第3期);第321-332页，第2节，图2 *

Also Published As

Publication number Publication date
CN110147830A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
Wolterink et al. Automatic segmentation and disease classification using cardiac cine MR images
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
CN110807495B (zh) 多标签分类方法、装置、电子设备及存储介质
Reddy et al. A novel computer-aided diagnosis framework using deep learning for classification of fatty liver disease in ultrasound imaging
Yue et al. Hierarchical feature extraction for early Alzheimer’s disease diagnosis
WO2021186592A1 (ja) 診断支援装置及びモデル生成装置
US12008757B2 (en) Method and system for automatic multiple lesion annotation of medical images
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN112949654A (zh) 图像检测方法及相关装置、设备
Chagas et al. A new approach for the detection of pneumonia in children using CXR images based on an real-time IoT system
Mehta et al. Propagating uncertainty across cascaded medical imaging tasks for improved deep learning inference
Fareed et al. ADD-Net: an effective deep learning model for early detection of Alzheimer disease in MRI scans
CN116759074A (zh) 多轮会话式医学影像分析模型的训练方法及应用
Sirjani et al. Automatic cardiac evaluations using a deep video object segmentation network
Mohebbian et al. Classifying MRI motion severity using a stacked ensemble approach
US11995823B2 (en) Technique for quantifying a cardiac function from CMR images
Ameen et al. Explainable residual network for tuberculosis classification in the IoT era
CN110147830B (zh) 训练影像数据生成网络的方法、影像数据分类方法及装置
CN113935957A (zh) 医疗图像对比方法、装置、电子设备及存储介质
US20230005158A1 (en) Medical image segmentation and atlas image selection
CN116128876B (zh) 一种基于异构域的医学图像分类方法和系统
Bolhassani Transfer learning approach to classify the x-ray image that corresponds to corona disease using resnet50 pretrained by chexnet
CN113808143B (zh) 图像分割方法、装置、可读存储介质及电子设备
Mabrouk et al. Ensemble Federated Learning: An approach for collaborative pneumonia diagnosis
Famiglini et al. Evidence-based XAI: An empirical approach to design more effective and explainable decision support systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant