CN110070935B - 基于对抗神经网络的医学图像合成方法、分类方法及装置 - Google Patents
基于对抗神经网络的医学图像合成方法、分类方法及装置 Download PDFInfo
- Publication number
- CN110070935B CN110070935B CN201910211463.5A CN201910211463A CN110070935B CN 110070935 B CN110070935 B CN 110070935B CN 201910211463 A CN201910211463 A CN 201910211463A CN 110070935 B CN110070935 B CN 110070935B
- Authority
- CN
- China
- Prior art keywords
- images
- image
- classification
- feature
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 24
- 238000001308 synthesis method Methods 0.000 title claims abstract description 17
- 230000003042 antagnostic effect Effects 0.000 title claims abstract description 16
- 210000004556 brain Anatomy 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 24
- 208000014644 Brain disease Diseases 0.000 claims abstract description 14
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 12
- 210000004884 grey matter Anatomy 0.000 description 7
- 239000002131 composite material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 208000031940 Disease Attributes Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明属于医学图像处理技术领域，具体涉及一种基于对抗神经网络的医学图像合成方法、分类方法及装置，旨在解决脑疾病分类任务中训练样本不足带来的准确度不能满足需求的问题，本发明合成方法包括：获取第一特征图像集及第二特征图像集；构建包括类别损失计算功能的循环生成对抗模型；基于所述第一特征图像集和所述第二特征图像集训练所述循环生成对抗模型；以及当样本分类损失满足条件时，将所述循环生成对抗模型生成的图像作为样本数据。本发明在Cycle‑GAN网络模型基础上添加类别损失使合成脑图像更加真实，通过无监督的方式增加了两倍的样本量，解决了使用深度学习方法进行脑疾病分类过程中出现的样本量不足的问题，可以提升分类准确度。
Description
技术领域
本发明属于医学图像处理技术领域，具体涉及一种基于对抗神经网络的医学图像合成方法、分类方法及装置。
背景技术
随着科学技术的发展，包括深度神经网络在内的多种机器学习技术已成功在诸多领域得到了广泛的应用，例如计算机视觉、语音识别、自然语言处理、自动驾驶、癌症检测等。越来越多的研究期望利用深度学习方法来进一步提高脑疾病的诊断准确率，实现计算机辅助诊断。深度学习方法能够在众多领域实现突破式的发展，除了算法的改进和创新以及强大的计算资源以外，一个重要的原因是拥有海量的训练样本。然而，在医学图像领域，由于正例被试少，仪器采集价格昂贵等问题，导致了医学影像数据稀缺，进而限制了深度学习方法的分类结果。
发明内容
为了解决上述技术问题，即为了解决脑疾病分类任务中训练样本不足带来的准确度不能满足需求的问题，本发明提出了一种基于对抗神经网络的医学图像合成方法、分类方法及装置。
本发明提供的一种基于对抗神经网络的医学图像合成方法，包括：获取第一特征图像集及第二特征图像集；构建包括类别损失计算功能的循环生成对抗模型；基于所述第一特征图像集和所述第二特征图像集训练所述循环生成对抗模型；以及当样本分类损失满足条件时，将所述循环生成对抗模型生成的图像作为样本数据。
在一些优选实施方式中，所述第一特征图像集中的图像为功能正常第一部位图像，所述第二特征图像集中的图像为具有结构病变的所述第一部位的图像。
在一些优选实施方式中，所述第一特征图像集中的图像为脑部正常的脑部影像，所述第二特征图像集中的图像为患有脑部疾病的脑部影像。
在一些优选实施方式中，所述基于所述第一特征图像集和所述第二特征图像集训练所述循环生成对抗模型包括：基于所述第一特征图像集和所述第二特征图像集生成验证集；且所述样本分类损失满足条件为当所述验证集的样本分类损失最小。
在一些优选实施方式中，所述循环生成对抗模型包括第一生成器、第二生成器、第一判决器、第二判决器以及样本分类判决器；所述第一特征图像集中的图像位于第一域；所述第二特征图像集中的图像位于第二域；所述第一生成器被配置为将所述第一特征图像集和第二特征图像集中的图像生成位于所述第二域的图像；所述第二生成器被配置为将所述第一特征图像集和第二特征图像集中的图像生成位于所述第一域的图像；所述第一判决器被配置为接收所述第一图像特征集中的图像以及所述第二生成器生成的图像，并进行判决；所述第二判决器被配置为接收所述第二图像特征集中的图像以及所述第一生成器生成的图像，并进行判决；以及所述样本分类判决器被配置为接收所述第一图像特征集中的图像和所述第二生成器生成的图像，以及所述第二图像特征集中的图像和所述第一生成器生成的图像，并进行类别判决，基于所述类别判决结果计算所述类别损失值。
在一些优选实施方式中，所述第一生成器 和第二生成器 采用残差网络模型；所述第一判决器、第二判决器以及样本分类判决器的网络模型包含多个卷积层。
在一些优选实施方式中，所述第一判决器、第二判决器以及样本分类判决器为包含四个卷积层的神经网络。
本发明还提供一种基于对抗神经网络的医学图像分类方法，包括：获取上述方案得到多个样本数据；至少基于所述多个样本数据训练分类器；接收待分类图像数据；以及采用训练后的分类网络完成对所述待分类图像的分类操作。
本发明还提供一种基于对抗神经网络的医学图像分类装置，包括，输入单元、输出单元、存储器、处理器以及分类器；所述输入单元被配置为输入待分类图像；所述存储器被配置为：存储权利要求采用上述的方法得到多个样本数据；以及所述分类器模型；所述的处理器被配置为：从所述存储器读取所述多个样本及所述分类模型；至少基于所述多个样本数据训练所述分类器；以及采用训练后的分类器对所述待分类图像进行分类操作；所述输出单元被配置为输出分类结果。
在一些优选实施方式中，所述处理器为GPU。
与现有技术相比，上述技术方案至少具有以下有益效果：
本发明在Cycle-GAN网络模型基础上添加类别损失使合成脑图像更加真实，通过无监督的方式增加了两倍的样本量，避免了使用深度学习方法进行脑疾病分类过程中出现的样本量不足的问题。此外，通过引入分类正确率指标对合成图像的质量进行定量评价，使生成对抗网络的合成效果具有可比较性，避免了主观视觉评估所带来的差异。
附图说明
图1为本发明一种实施例的样本数据合成方法流程示意图；
图2为本发明一种实施例的基于3D生成对抗网络的脑影像合成方法的系统流程示意图；
图3为本发明一种实施例中构建的3D生成对抗网络框架示意图；
图4为真实的AD病人灰质影像和合成的AD病人灰质影像的对比示例；
图5为本发明一种实施例的图像分类装置示意图。
具体实施方式
下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述参考在附图中示出并在以下描述中详述的非限制性示例实施例，更加全面地说明本公开的示例实施例和它们的多种特征及有利细节。应注意的是，图中示出的特征不是必须按照比例绘制。本公开省略了已知组件和技术的描述，从而不使本公开的示例实施例模糊。所给出的示例仅旨在有利于理解本公开示例实施例的实施，以及进一步使本领域技术人员能够实施示例实施例。因而，这些示例不应被理解为对本公开的实施例的范围的限制。
除非另外特别定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的特征的图像。此外，在本公开各个实施例中，相同或类似的参考标号表示相同或类似的构件。
生成对抗网络是的一种无监督学习的神经网络模型，最初由 Ian J.Goodfellow等人提出。近年来，生成对抗网络在图像转换、分割及合成等领域都取得了不错的进展。生成对抗网络通过两个模块：生成模型(Generative Model)和判别模型(DiscriminativeModel)的互相博弈学习产生好的输出。Cycle-GAN是一种循环生成对抗网络，可以实现两个领域的数据相互转化，其优点是不需要两个领域的样本存在一一对应关系，即不需要配对数据。例如，在脑疾病诊断场景的问题中，对于病人和正常人两个数据领域，不存在一一配对关系。在本发明实施例中提出了一种在循环生成对抗网络Cycle-GAN网络模型基础上添加新的网络损失来合成更真实的脑影像的方法，实现了训练样本的扩增，缓解了医学影像数据稀缺、脑疾病分类样本不足的问题。
本发明提供一种基于对抗神经网络的医学图像合成方法，如图 1所示，包括：步骤101，获取第一特征图像集及第二特征图像集；步骤 201，构建包括类别损失计算功能的循环生成对抗模型；步骤301，基于所述第一特征图像集和所述第二特征图像集训练所述循环生成对抗模型；以及步骤401当样本分类损失满足条件时，将所述循环生成对抗模型生成的图像作为输出的合成图像。该方法获得的合成图像可以作为以下图基于对抗神经网络的医学图像分类方法实施例中的样本数据，在本实施例中通过该方法对两种医学图像进行处理合成后的医学图像。
在一些实施例中，步骤101中所述第一特征图像集中的图像为功能正常第一部位图像，所述第二特征图像集中的图像为具有结构病变的所述第一部位的图像。例如，所述第一特征图像集中的图像为脑部正常的脑部影像，所述第二特征图像集中的图像为患有脑部疾病的脑部影像。
在一些实施例中，步骤301包括基于所述第一特征图像集和所述第二特征图像集生成验证集；步骤401包括当所述验证集的样本分类损失最小时，将所述循环生成对抗模型生成的图像作为样本数据。
在一些实施例中，所述循环生成对抗模型包括第一生成器、第二生成器、第一判决器、第二判决器以及样本分类判决器；所述第一特征图像集中的图像位于第一域；所述第二特征图像集中的图像位于第二域；所述第一生成器被配置为将所述第一特征图像集和第二特征图像集中的图像生成位于所述第二域的图像；所述第二生成器被配置为将所述第一特征图像集和第二特征图像集中的图像生成位于所述第一域的图像；所述第一判决器被配置为接收所述第一图像特征集中的图像以及所述第二生成器生成的图像，并进行判决；所述第二判决器被配置为接收所述第二图像特征集中的图像以及所述第一生成器生成的图像，并进行判决；以及所述样本分类判决器被配置为接收所述第一图像特征集中的图像和所述第二生成器生成的图像，以及所述第二图像特征集中的图像和所述第一生成器生成的图像，并进行类别判决，基于所述类别判决结果计算所述类别损失值。
在一些实施例中，所述第一生成器 和第二生成器 采用残差网络模型；所述第一判决器、第二判决器以及样本分类判决器的网络模型包含多个卷积层。
在一些实施例，所述第一判决器、第二判决器以及样本分类判决器为包含四个卷积层的神经网络。
本发明的一个实施例还提供一种基于对抗神经网络的医学图像分类方法，包括：获取上述合成方法得到多个样本数据；至少基于所述多个样本数据训练分类器；接收待分类图像数据；以及采用训练后的分类网络完成对所述待分类图像的分类操作。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的分类方法中未对合成样本数据的方法进行描述，该部分具体工作过程及有关说明，可以参考前述合成方法实施例中的对应过程，在此不再赘述。
以下实施例以正常的脑磁共振影像作为第一特征图像集，将病变的脑磁共振影像作为第二特征图像集的图像，本实施例提供的技术方案如下：
一种基于3D生成对抗网络的脑影像合成方法，其主要步骤包括：
步骤一、获取脑磁共振影像。
步骤二、对脑磁共振影像进行预处理，具体包括：通过SPM (StatisticalParametric Mapping)软件将原始的DICOM(Digital Imaging and Communications inMedicine)影像数据格式转换成标准的NIfTI (Neuroimaging Informatics TechnologyInitiative)数据格式，并对数据进行时间校正(slice timing),即校正大脑中层与层之间采集时间的差异，最后配准到MNI(Montreal Neurological Institute)标准空间并分割出大脑的灰质密度图。
步骤三、将预处理后的数据输入到构建的生成对抗网络模型中并进行训练，生成对抗网络模型包括两个生成器模型和三个判别器模型，整体的网络结构如图3所示。
图3示出的两个生成器可以使用由残差网络模块(ResNet)或传统卷积网络构建的编解码模型或U-Net模型，该残差网络模型包含六个残差模块。三个判别器使用包含四个卷积层的网络模型。预处理后的两个数据域X域(DomainX)、Y域(DomainY)的图像x、y输入到生成器G和生成器F中。生成器G的输出图像y′和Y域的图像y送入到判别器DY进行判别，区分真实图像(real)和合成图像(fake)；生成器F 的输出图像x′和X域的图像x送入到判别器DX进行判别，区分真实图像 (real)和合成图像(fake)；另一方面，生成器G的输出图像y′、生成器F的输出图像x′、X域的图像x、Y域的图像y输入到判别器DClass(也可简化表示为DC)中进行判别，判断图像属于哪一个类别(该图例中的类别包括Class1、Class2)。通过损失函数L(G,F,DX,DY,DC)对生成对抗网络模型进行优化，以用来生成更加真实的合成图像。
L(G,F,DX,DY,DC)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+ λ1Lcyc(G,F)+λ2(Lclass(G,Dc,X,Y)+Lclass(G,Dc,X,Y))
Lclass是本发明加入的样本类别损失，其公式为：
其中，LGAN(G,DY,X,Y)和LGAN(F,DX,Y,X)为网络的对抗损失； Lcyc(G,F)为网络的循环一致性损失；λ1、λ2分别控制循环一致性损失和类别损失的重要性；G*,F*为目标损失函数的最优解，即最优的生成器；E 表示数学期望，在这里就是所有样本的平均值。
步骤四、通过训练好的网络模型获得合成的大脑图像并对合成图像进行评估。具体地，通过网络模型和训练样本生成合成的大脑图像，用合成的X域图像和合成的Y域图像训练分类器，对真实的X域和Y域图像进行分类，通过分类正确率来评估合成图像的质量。
图2为基于本发明样本数据合成方法在脑影像方面的应用，提出的一种基于3D生成对抗网络的脑影像合成方法的系统流程图，从图中可以看出，该神经网络分类方法包括：S1，获取脑磁共振影像；S2，对脑磁共振影像进行预处理；S3，将预处理后的数据输入到构建的生成对抗网络模型中并进行训练；S4，通过训练好的网络模型获得合成的大脑图像，并通过构建的评估方法对合成图像进行评估，以用于验证合成样本数据的质量；该流程的几个关键点在于：脑影像获取、构建生成对抗网络、训练网络模型、获得合成图像、建立评估方法。
具体来说，在步骤S2中具体包括：通过SPM(Statistical Parametric Mapping)软件将原始的DICOM影像数据格式转换成标准的 NIfTI数据格式，并对数据进行时间校正(slice timing),即校正大脑中层与层之间采集时间的差异，最后配准到MNI标准空间并分割出大脑的灰质密度图；在步骤S3中具体包括：构建3D生成对抗网络模型，其中包括两个生成器和三个判别器。生成器使用残差网络模型(ResNet)，包含六个残差模块。判别器使用包含四个卷积层的网络模型。
下面通过阿尔茨海默症(Alzheimer’s disease,AD)和正常对照 (normalcontrol,NC)的脑疾病分类问题，基于磁共振成像数据来说明本发明的实现过程，具体如步骤G1-G6所描述。在该实例中：我们采用了 Alzheimer’s disease NeuroimagingInitiative(ADNI)收集的阿尔茨海默患者和正常对照组的磁共振图像数据。其中，正常对照组共305人；阿尔茨海默患者共227人。详细信息见表1：
表1
| 组别 | 样本数 | Age | 性别(女/男) | MMSE评分 |
| AD | 227 | 74.77±7.60 | 105/122 | 22.48±3.12 |
| NC | 305 | 74.58±5.65 | 149/156 | 28.93±1.38 |
步骤G1：获取被试的原始磁共振成像数据。其中，共305个正常被试的磁共振数据和227个AD患者的磁共振数据；
步骤G2：对被试的原始磁共振成像数据进行预处理。首先，使用SPM(StatisticalParametric Mapping)软件将原始DICOM格式的MRI数据转换成标准的NIfTI格式的数据，然后进行时间层校正，配准到标准MNI空间并分割灰质图像。图像大小为46×55×46，之后将处理后的图像存储为神经网络可输入的数据格式。
步骤G3：将预处理后的数据随机分成5份，每次将其中一份作为测试集，用于对合成图像的质量进行评估，剩余4份作为网络的训练集，用于生成合成图像；
步骤G4：构建3D生成对抗网络模型并输入预处理后的数据对生成对抗网络模型进行训练。其中，搭建的3D生成对抗网络模型如图 3所示。通过训练好的网络模型可以得到532个合成的AD图像和532个合成的NC图像。图4显示了一例真实的AD病人的灰质图像和一例合成的AD病人的灰质图像。可以发现，生成对抗网络获得了较好的合成效果。下面将进行合成效果的定量分析。
步骤G5：将合成的1064个图像作为训练集输入到脑疾病分类器中进行训练。其中，脑疾病分类器的网络结构和生成对抗网络的判别器结构一致。
步骤G6：将测试集的样本数据输入到训练好的脑疾病分类器中，得到该测试样本疾病属性的预测值。1表示该样本被判断为AD患者， 0表示该样本被判断为健康对照。计算测试集的分类准确率：
其中，TP、TN、FP和FN分别表示真正类、真负类、假正类和假负类。真正类、真负类、假正类和假负类分别表示判断正确的正类数量，判断正确的负类数量、判断错误的正类数量、判断错误的负类数量)
在本发明具体实施案例所述方法的基础之上，我们通过上述五折交叉验证的方式来计算分类正确率，进而定量地评估合成图像的质量。结果见下表2：
表2
由表2可知，加入新损失的生成对抗网络模型提高了疾病的分类准确率，合成的图像提供了更加有用的类别信息，是合成图像更加真实有效。
本发明提供一种基于对抗神经网络的医学图像分类装置100，如图5包括，输入单元3000、输出单元图中未示出、存储器1000、处理器2000以及分类器(图中未示出)；输入单元3000被配置为输入待分类图像(例如，影像输入)；存储器1000被配置为存储上述方法得到多个样本数据以及所述分类器对应的模型；处理器2000被配置为：从存储器1000读取所述多个样本及所述分类模型；至少基于所述多个样本数据训练所述分类器；以及采用训练后的分类器对所述待分类图像进行分类操作；所述输出单元被配置为输出分类结果。例如，处理器1000为GPU。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器 (RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种基于对抗神经网络的医学图像合成方法，其特征在于，包括：
获取第一特征图像集及第二特征图像集；所述第一特征图像集中的图像为脑部正常的脑部影像，所述第二特征图像集中的图像为患有脑部疾病的脑部影像；
构建包括类别损失计算功能的循环生成对抗模型；
基于所述第一特征图像集和所述第二特征图像集训练所述循环生成对抗模型；以及
当样本分类损失满足条件时，将所述循环生成对抗模型生成的图像作为样本数据；
所述基于所述第一特征图像集和所述第二特征图像集训练所述循环生成对抗模型包括：基于所述第一特征图像集和所述第二特征图像集生成验证集；
所述样本分类损失满足条件为当所述验证集的样本分类损失最小；
所述循环生成对抗模型训练的损失函数
为：
其中，
和
为网络的对抗损失；
为网络的循环一致性损失；
是样本类别损失；
、
分别控制循环一致性损失和类别损失的重要性；
为目标损失函数的最优解；E表示数学期望。
2.如权利要求1所述的基于对抗神经网络的医学图像合成方法，其特征在于，所述循环生成对抗模型包括第一生成器、第二生成器、第一判决器、第二判决器以及样本分类判决器；
所述第一特征图像集中的图像位于第一域；
所述第二特征图像集中的图像位于第二域；
所述第一生成器被配置为将所述第一特征图像集和第二特征图像集中的图像生成位于所述第二域的图像；
所述第二生成器被配置为将所述第一特征图像集和第二特征图像集中的图像生成位于所述第一域的图像；
所述第一判决器被配置为接收所述第一图像特征集中的图像以及所述第二生成器生成的图像，并进行判决；
所述第二判决器被配置为接收所述第二图像特征集中的图像以及所述第一生成器生成的图像，并进行判决；以及
所述样本分类判决器被配置为接收所述第一图像特征集中的图像和所述第二生成器生成的图像，以及所述第二图像特征集中的图像和所述第一生成器生成的图像，并进行类别判决，基于所述类别判决结果计算所述类别损失值。
3.如权利要求2 所述的基于对抗神经网络的医学图像合成方法，其特征在于，所述第一生成器和第二生成器采用残差网络模型；
所述第一判决器、第二判决器以及样本分类判决器的网络模型包含多个卷积层。
4.如权利要求1所述的基于对抗神经网络的医学图像合成方法，其特征在于，所述第一判决器、第二判决器以及样本分类判决器为包含四个卷积层的神经网络。
5.一种基于对抗神经网络的医学图像分类方法，其特征在于，包括：
获取采用权利要求1-4中任意权利要求所述的方法得到多个样本数据；
至少基于所述多个样本数据训练分类器；
接收待分类图像数据；以及
采用训练后的分类网络完成对所述待分类图像的分类操作。
6.一种基于对抗神经网络的医学图像分类装置，其特征在于，包括，输入单元、输出单元、存储器、处理器以及分类器；
所述输入单元被配置为输入待分类图像；
所述存储器被配置为：
存储权利要求1-4中任意权利要求所述的方法得到多个样本数据；以及
所述分类器模型；
所述的处理器被配置为：
从所述存储器读取所述多个样本及所述分类模型；
至少基于所述多个样本数据训练所述分类器；以及
采用训练后的分类器对所述待分类图像进行分类操作；
所述输出单元被配置为输出分类结果。
7.如权利要求6所述的基于对抗神经网络的医学图像分类装置，其特征在于，所述处理器为GPU。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910211463.5A CN110070935B (zh) | 2019-03-20 | 2019-03-20 | 基于对抗神经网络的医学图像合成方法、分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910211463.5A CN110070935B (zh) | 2019-03-20 | 2019-03-20 | 基于对抗神经网络的医学图像合成方法、分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110070935A CN110070935A (zh) | 2019-07-30 |
| CN110070935B true CN110070935B (zh) | 2021-04-30 |
Family
ID=67366372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910211463.5A Active CN110070935B (zh) | 2019-03-20 | 2019-03-20 | 基于对抗神经网络的医学图像合成方法、分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110070935B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110838139B (zh) * | 2019-11-04 | 2022-10-25 | 上海联影智能医疗科技有限公司 | 图像配准模型的训练方法、图像配准方法和计算机设备 |
| CN111178502A (zh) * | 2019-12-12 | 2020-05-19 | 中国科学院深圳先进技术研究院 | 循环生成对抗网络模型的训练方法、系统以及电子设备 |
| CN111067522A (zh) * | 2019-12-16 | 2020-04-28 | 中国科学院深圳先进技术研究院 | 大脑成瘾结构图谱评估方法及装置 |
| CN111353935A (zh) * | 2020-01-03 | 2020-06-30 | 首都医科大学附属北京友谊医院 | 基于深度学习的磁共振成像优化方法及其设备 |
| TWI726574B (zh) | 2020-01-10 | 2021-05-01 | 宏碁股份有限公司 | 模型訓練方法與電子裝置 |
| CN111383217B (zh) * | 2020-03-11 | 2023-08-29 | 深圳先进技术研究院 | 大脑成瘾性状评估的可视化方法、装置及介质 |
| CN111488933B (zh) * | 2020-04-13 | 2024-02-27 | 上海联影智能医疗科技有限公司 | 图像分类方法、网络、计算机设备和存储介质 |
| CN111584044B (zh) * | 2020-05-14 | 2023-07-14 | 上海深至信息科技有限公司 | 一种标准超声图像训练集的生成方法及系统 |
| TWI743837B (zh) * | 2020-06-16 | 2021-10-21 | 緯創資通股份有限公司 | 訓練資料增量方法、電子裝置與電腦可讀取記錄媒體 |
| CN113658116B (zh) * | 2021-07-30 | 2023-09-15 | 戴建荣 | 一种生成不同体位医学图像的人工智能方法和系统 |
| CN113936806B (zh) * | 2021-09-18 | 2024-03-08 | 复旦大学 | 脑刺激响应模型构建方法、响应方法、装置及电子设备 |
| WO2023102709A1 (zh) * | 2021-12-07 | 2023-06-15 | 深圳先进技术研究院 | 基于静态pet图像的动态参数图像合成方法、系统 |
| CN114463320B (zh) * | 2022-02-17 | 2024-01-26 | 厦门大学 | 一种磁共振成像脑胶质瘤idh基因预测方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015217429A1 (de) * | 2015-09-11 | 2017-03-16 | Siemens Healthcare Gmbh | Diagnosesystem und Diagnoseverfahren |
| WO2017192629A1 (en) * | 2016-05-02 | 2017-11-09 | The Regents Of The University Of California | System and method for estimating perfusion parameters using medical imaging |
| WO2018074739A1 (ko) * | 2016-10-20 | 2018-04-26 | ㈜제이엘케이인스펙션 | 뇌졸중 진단 및 예후 예측 방법 및 시스템 |
| CN108022213A (zh) * | 2017-11-29 | 2018-05-11 | 天津大学 | 基于生成对抗网络的视频超分辨率重建算法 |
| CN108090905A (zh) * | 2018-01-05 | 2018-05-29 | 清华大学 | 产线异常的判断方法及系统 |
| WO2018125580A1 (en) * | 2016-12-30 | 2018-07-05 | Konica Minolta Laboratory U.S.A., Inc. | Gland segmentation with deeply-supervised multi-level deconvolution networks |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN108961244A (zh) * | 2018-07-05 | 2018-12-07 | 济南浪潮高新科技投资发展有限公司 | 一种基于多层识别卷积神经网络的肿瘤识别方法 |
| CN109102014A (zh) * | 2018-08-01 | 2018-12-28 | 中国海洋大学 | 基于深度卷积神经网络的类别不平衡的图像分类方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10636141B2 (en) * | 2017-02-09 | 2020-04-28 | Siemens Healthcare Gmbh | Adversarial and dual inverse deep learning networks for medical image analysis |
| US10600185B2 (en) * | 2017-03-08 | 2020-03-24 | Siemens Healthcare Gmbh | Automatic liver segmentation using adversarial image-to-image network |
| KR102403494B1 (ko) * | 2017-04-27 | 2022-05-27 | 에스케이텔레콤 주식회사 | 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법 |
| WO2018195848A1 (en) * | 2017-04-27 | 2018-11-01 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for route planning |
| CN109191402B (zh) * | 2018-09-03 | 2020-11-03 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
| CN109493308B (zh) * | 2018-11-14 | 2021-10-26 | 吉林大学 | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 |
-
2019
- 2019-03-20 CN CN201910211463.5A patent/CN110070935B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015217429A1 (de) * | 2015-09-11 | 2017-03-16 | Siemens Healthcare Gmbh | Diagnosesystem und Diagnoseverfahren |
| WO2017192629A1 (en) * | 2016-05-02 | 2017-11-09 | The Regents Of The University Of California | System and method for estimating perfusion parameters using medical imaging |
| WO2018074739A1 (ko) * | 2016-10-20 | 2018-04-26 | ㈜제이엘케이인스펙션 | 뇌졸중 진단 및 예후 예측 방법 및 시스템 |
| WO2018125580A1 (en) * | 2016-12-30 | 2018-07-05 | Konica Minolta Laboratory U.S.A., Inc. | Gland segmentation with deeply-supervised multi-level deconvolution networks |
| CN108022213A (zh) * | 2017-11-29 | 2018-05-11 | 天津大学 | 基于生成对抗网络的视频超分辨率重建算法 |
| CN108090905A (zh) * | 2018-01-05 | 2018-05-29 | 清华大学 | 产线异常的判断方法及系统 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN108961244A (zh) * | 2018-07-05 | 2018-12-07 | 济南浪潮高新科技投资发展有限公司 | 一种基于多层识别卷积神经网络的肿瘤识别方法 |
| CN109102014A (zh) * | 2018-08-01 | 2018-12-28 | 中国海洋大学 | 基于深度卷积神经网络的类别不平衡的图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110070935A (zh) | 2019-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070935B (zh) | 基于对抗神经网络的医学图像合成方法、分类方法及装置 | |
| CN110443798B (zh) | 一种基于磁共振图像的自闭症检测方法、装置及系统 | |
| CN109493308B (zh) | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 | |
| CN110503187B (zh) | 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法 | |
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN110136809A (zh) | 一种医疗图像处理方法、装置、电子医疗设备和存储介质 | |
| CN110648337A (zh) | 髋关节分割方法、装置、电子设备和存储介质 | |
| CN112365464B (zh) | 一种基于gan的医学图像病变区域弱监督定位方法 | |
| CN113724880A (zh) | 一种异常脑连接预测系统、方法、装置及可读存储介质 | |
| CN111488914A (zh) | 一种基于多任务学习的阿尔茨海默症分类及预测系统 | |
| CN113314205B (zh) | 一种高效的医学影像标注与学习系统 | |
| RU2009115198A (ru) | Способы выбора признаков, использующие основанные на группе классификаторов генетические алгоритмы | |
| CN111242233B (zh) | 一种基于融合网络的阿尔兹海默病分类方法 | |
| CN110097128B (zh) | 医学图像分类装置及系统 | |
| CN113989551B (zh) | 一种基于改进ResNet网络的阿尔茨海默病分类方法 | |
| CN110211671B (zh) | 一种基于权值分布的阈值化方法 | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| CN110853048A (zh) | 基于粗、精训练的mri图像分割方法、装置和存储介质 | |
| Zhao et al. | Two-stage spatial temporal deep learning framework for functional brain network modeling | |
| Liu et al. | An ensemble hybrid feature selection method for neuropsychiatric disorder classification | |
| Anaam et al. | Studying the applicability of generative adversarial networks on HEp-2 cell image augmentation | |
| CN117195027A (zh) | 基于成员选择的簇加权聚类集成方法 | |
| CN116152235A (zh) | 一种肺癌ct到pet的医学图像跨模态合成方法 | |
| CN115526898A (zh) | 一种医学影像分割方法 | |
| Varghese et al. | Discrimination between Alzheimer’s disease, mild cognitive impairment and normal aging using ANN based MR brain image segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |