CN111383215A - 一种基于生成对抗网络的病灶检测模型的训练方法 - Google Patents
一种基于生成对抗网络的病灶检测模型的训练方法 Download PDFInfo
- Publication number
- CN111383215A CN111383215A CN202010161624.7A CN202010161624A CN111383215A CN 111383215 A CN111383215 A CN 111383215A CN 202010161624 A CN202010161624 A CN 202010161624A CN 111383215 A CN111383215 A CN 111383215A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- detection model
- network
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 155
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 31
- 238000011156 evaluation Methods 0.000 claims abstract description 25
- 230000003902 lesion Effects 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 30
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 230000008520 organization Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 18
- 229910052750 molybdenum Inorganic materials 0.000 description 18
- 239000011733 molybdenum Substances 0.000 description 18
- 210000000481 breast Anatomy 0.000 description 12
- 206010028980 Neoplasm Diseases 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 4
- 208000026310 Breast neoplasm Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010006272 Breast mass Diseases 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000004718 Panda Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000105 evaporative light scattering detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012005 ligant binding assay Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于生成对抗网络的病灶检测模型的训练方法、装置、设备及可读存储介质，该方案采用了两种思路来降低生成对抗网络对数据的需求：一方面，将正常图像、病灶和病灶掩模组合成三通道图像数据，以作为网络的输入，这三个通道分别包含了不同的先验信息，从而降低了图像生成的难度；另一方面，在对抗生成网络的评价器中采用局部评价的方式，通过这种方式降低对网络深度的要求，因而也降低了对样本量的要求。最终，该方案实现利用小样本完成对生成对抗网络的训练的目的，从而有效扩充了病灶检测模型的训练样本，有助于提升病灶检测模型的检测性能。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种基于生成对抗网络的病灶检测模型的训练方法、装置、设备及可读存储介质。
背景技术
从全世界范围来讲，癌症仍然是人类生命的最大的威胁。以乳腺癌为例，乳腺癌一直都是女性发生率最高的癌症。对于乳腺癌的及早治疗，不仅能够延长患者生命，而且从治疗成本上来讲，也将大幅减轻患者的总体开支，因而基于人工智能的乳腺癌钼靶成像辅助诊断越来越获得医生的重视。
近年来，随着深度学习在自然图像中获取的一系列的成功，人们也在尝试基于深度学习的方法来进行癌症的诊断和筛查。然而，基于卷积神经网络的深度学习方法对于数据样本的依赖性很强，往往需要大量的标注样本才能够让深度学习神经网络获取良好的表现。和自然图像相比，医学图像数据不仅获取困难，同时标注需要很有经验的医生才能够完成。除此之外医学影像数据也很容易存在样本的不平衡问题。
为解决上述问题，常见的解决办法主要是数据增广，通过如翻转、旋转、缩放、甚至是弹性形变等方法来对训练数据进行增广。但这种方法对于数据的增广能力有限，对于模型性能的提升不足。人们希望有一种方式能够生成一些新的数据，而这些数据是网络所从未训练过的。近年来，人们开始尝试使用基于深度学习的对抗生成网络来实现这种想法。例如，有学者采用对抗生成网络生成了高分辨率的医学影像[Kozegar,E.,Soryani,M.,Minaei,B.,Domingues,I.,et al.:Assessment of a novel mass detection algorithmin mammograms.Journal of cancer research and therapeutics(2013)]。还有学者提出了一种有限填充GANs能够在正常的钼靶影像中生成病灶[Wu,E.,Wu,K.,Cox,D.,Lotter,W.:Conditional in lling GANs for data augmentation in mammogramclassification.In:Image Analysis for Moving Organ,Breast,and Thoracic Images(2018)]。
然而，以乳腺钼靶为例，现有的基于对抗生成网络来生成训练样本的方法，均存在一个共同的问题，就是需要一个较大的样本量来实现对于对抗生成网络的训练，这些方法对于样本量较小时反而不适用。
综上，在病灶检测过程中，往往需要对样本进行扩充，传统的样本扩充方案基于生成对抗网络实现，但是，常规的生成对抗网络也需要较大的样本量完成训练，导致在小样本情况下生成对抗网络的样本扩充效果不理想，无法实现提升病灶检测性能的目的。
发明内容
本申请的目的是提供一种基于生成对抗网络的病灶检测模型的训练方法、装置、设备及可读存储介质，用以解决传统的基于生成对抗网络的样本扩充方案需要较多的样本完成对生成对抗网络的训练，导致在小样本情况下生成对抗网络的样本扩充效果不理想，无法实现提升病灶检测性能的问题。具体方案如下：
第一方面，本申请提供了一种基于生成对抗网络的病灶检测模型的训练方法，包括：
获取原始训练样本，所述原始训练样本包括目标组织的医学影像和标注信息；
根据所述标注信息，确定所述医学影像中的正常图像和异常图像，从所述异常图像中提取病灶区域图像，并生成病灶区域的掩模二值图；
将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器，得到合成图像；
将所述合成图像划分为多个子图像，利用所述生成对抗网络中的评价器分别对各个所述子图像进行评价，得到所述合成图像的综合评价结果；在所述综合评价结果满足预设要求时将所述合成图像作为合成训练样本；
利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，直至达到预设终止条件，以完成对所述病灶检测模型的训练。
优选的，所述将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器，得到合成图像，包括：
将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器；
利用所述生成器中的编码器基于二维卷积滤波器逐步提取所述三通道数据的组织和病灶信息，并延展为一维特征信息；
利用所述生成器中的解码器采用二维反卷积滤波器对所述一维特征信息进行逐步上采样，得到合成图像。
优选的，在所述利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，直至达到预设终止条件之后，还包括：
将待检测的所述目标组织的医学影像输入所述病灶检测模型，得到病灶区域的掩模信息，以作为病灶检测结果。
优选的，所述利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，包括：
利用所述原始训练样本和所述合成训练样本对基于RCNN的病灶检测模型进行训练。
优选的，所述利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，包括：
根据第一预设损失函数，利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，所述第一损失函数用于衡量所述掩模信息的定位损失、分类损失和分割损失。
优选的，所述获取原始训练样本，所述原始训练样本包括目标组织的医学影像和标注信息，包括：
从公开数据集获取原始训练样本，所述原始训练样本包括成像部位的医学影像和标注信息。
优选的，所述利用所述生成对抗网络中的评价器分别对各个所述子图像进行评价，包括：
利用所述生成对抗网络中的评价器，根据第二损失函数分别对各个所述子图像进行评价，所述第二损失函数用于衡量所述合成图像与真实图像之间的对抗损失和先验知识损失，其中所述先验知识损失包括区域融合损失和背景损失。
第二方面，本申请提供了一种基于生成对抗网络的病灶检测模型的训练装置，包括：
样本获取模块：用于获取原始训练样本，所述原始训练样本包括目标组织的医学影像和标注信息；
输入数据组织模块：用于根据所述标注信息，确定所述医学影像中的正常图像和异常图像，从所述异常图像中提取病灶区域图像，并生成病灶区域的掩模二值图；
图像合成模块：用于将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器，得到合成图像；
图像评价模块：用于将所述合成图像划分为多个子图像，利用所述生成对抗网络中的评价器分别对各个所述子图像进行评价，得到所述合成图像的综合评价结果；在所述综合评价结果满足预设要求时将所述合成图像作为合成训练样本；
检测模型训练模块：用于利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，直至达到预设终止条件，以完成对所述病灶检测模型的训练。
第三方面，本申请提供了一种基于生成对抗网络的病灶检测模型的训练设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的一种基于生成对抗网络的病灶检测模型的训练方法的步骤。
第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种基于生成对抗网络的病灶检测模型的训练方法的步骤。
本申请所提供的一种基于生成对抗网络的病灶检测模型的训练方法、装置、设备及可读存储介质，方案包括：获取原始训练样本；根据标注信息，确定医学影像中的正常图像和异常图像，从异常图像中提取病灶区域图像，并生成病灶区域的掩模二值图；将正常图像、病灶区域图像、掩模二值图像作为三通道数据输入生成对抗网络中的生成器，得到合成图像；将合成图像划分为多个子图像，利用生成对抗网络中的评价器分别对各个子图像进行评价，得到合成图像的综合评价结果；在综合评价结果满足预设要求时将合成图像作为合成训练样本；利用原始训练样本和合成训练样本对病灶检测模型进行训练，直至达到预设终止条件，以完成对病灶检测模型的训练。
可见，该方案采用了两种思路来降低生成对抗网络对数据的需求：一方面，将正常图像、病灶和病灶掩模组合成三通道图像数据，以作为网络的输入，这三个通道分别包含了不同的先验信息，从而降低了图像生成的难度；另一方面，在对抗生成网络的评价器中，采用了局部评价的方式，通过这种方式降低对网络深度的要求，因而也降低了对样本量的要求。最终，该方案实现利用小样本完成对生成对抗网络的训练的目的，从而有效扩充了病灶检测模型的训练样本，有助于提升病灶检测模型的检测性能。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种基于生成对抗网络的病灶检测模型的训练方法实施例一的实现流程图；
图2为本申请所提供的一种基于生成对抗网络的病灶检测模型的训练方法实施例二的实现流程图；
图3为本申请所提供的一种基于生成对抗网络的病灶检测模型的训练装置实施例的功能框图；
图4为本申请所提供的一种基于生成对抗网络的病灶检测模型的训练设备实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，样本扩充方案都是利用对抗生成网络来生成整张医学影像，由于医学影像很大，在要求细节也比较丰富时，对抗生成网络需要的参数也会很大，必然需要大量的数据才能够对网络实现有效的训练。针对该问题，本申请提供一种基于生成对抗网络的病灶检测模型的训练方法、装置、设备及可读存储介质，实现了利用小样本完成对生成对抗网络的训练的目的，从而有效扩充了病灶检测模型的训练样本，有助于提升病灶检测模型的检测性能。
下面对本申请提供的一种基于生成对抗网络的病灶检测模型的训练方法时实施例一进行介绍，参见图1，实施例一包括：
S101、获取原始训练样本，所述原始训练样本包括目标组织的医学影像和标注信息；
本实施例的目的在于解决在小样本下实现扩充病灶检测模型的训练样本，以及训练样本不平衡的问题。本实施例可应用于多种组织中的肿块检测，例如对乳腺钼靶中肿块的检测，具体的检测目标根据实际应用场景确定即可。具体的，可以选取钼靶图像作为上述医学影像，基于此实现对目标组织的检测。
具体的，获取原始训练样本之后，对原始训练样本进行清理与预处理。
S102、根据所述标注信息，确定所述医学影像中的正常图像和异常图像，从所述异常图像中提取病灶区域图像，并生成病灶区域的掩模二值图；
上述步骤的目的在于组织生成对抗网络的输入数据，本实施例组织三通道数据，分别为正常图像、病灶区域图像和掩模二值化图像，其中正常图像用于提供目标组织的整体纹理信息。
S103、将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器，得到合成图像；
具体的，将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器；利用所述生成器中的编码器基于二维卷积滤波器逐步提取所述三通道数据的组织和病灶信息，并延展为一维特征信息；利用所述生成器中的解码器采用二维反卷积滤波器对所述一维特征信息进行逐步上采样，得到合成图像。
S104、将所述合成图像划分为多个子图像，利用所述生成对抗网络中的评价器分别对各个所述子图像进行评价，得到所述合成图像的综合评价结果；在所述综合评价结果满足预设要求时将所述合成图像作为合成训练样本；
S105、利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，直至达到预设终止条件，以完成对所述病灶检测模型的训练。
上述预设终止条件具体可以为迭代次数达到最大迭代次数，还可以为损失值满足一定条件，具体根据实际需求确定即可。
本实施例所提供一种基于生成对抗网络的病灶检测模型的训练方法，一方面，将正常图像、病灶和病灶掩模组合成三通道图像数据，以作为网络的输入，这三个通道分别包含了不同的先验信息，从而降低了图像生成的难度；另一方面，在对抗生成网络的评价器中，采用了局部评价的方式，通过这种方式降低对网络深度的要求，因而也降低了对样本量的要求。最终，该方案实现利用小样本完成对生成对抗网络的训练的目的，从而有效扩充了病灶检测模型的训练样本，有助于提升病灶检测模型的检测性能。
下面开始详细介绍本申请提供的一种基于生成对抗网络的病灶检测模型的训练方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。
具体的，实施例二主要用于基于钼靶图像实现对乳腺肿块的检测。参见图2，实施例二具体包括：
S201、从公开数据集获取原始训练样本，所述原始训练样本包括目标组织的钼靶图像和标注信息；
优选的，S201包括如下过程：
首先，下载或者和医院合作收集一定量的脱敏乳腺钼靶数据集。在本实施例的实现中，采用了INbreast公开数据集，主要是因为这个数据集已经被广泛的研究和使用，公认的精确的标注效果，并且易于和其他方法横向对比方法的优劣。
然后，进行数据清洗，通过清洗可以了解数据集的基本情况，并对于数据的基本信息有所把握。优选的，可以使Panda工具包来完成这项工作。经过数据清理，可以发现该数据集包括了115例病人数据，410张图像，其中116张图中包含了良性或者恶性的肿块。
进一步的，将原始数据进行一定的预处理，包括归一化以及训练集/验证集划分等。在本实施例中，使用了5组交叉验证的方式来进行数据集划分，从病人层面上取其中80％作训练集，20％作验证集。
S202、根据所述标注信息，确定所述钼靶图像中的正常图像和异常图像，从所述异常图像中提取病灶区域图像，并生成病灶区域的掩模二值图；
上述步骤的目的在于准备生成对抗网络的输入数据。在本实施例中，采取三通道同步输入的方式来进行网络数据的喂入，S202主要包括以下步骤：
首先，组织和生成健康样本数据集，从而可以根据索引，从健康样本集中随机获取一个正常图像作为输入数据的一个通道，如通道1，来提供整体乳房的纹理信息。
其次，根据标注信息，组织和生成整个数据集的肿块的病灶位置与掩模(Mask)信息，并根据该信息从病灶所在原有图像中获取肿块的补丁，作为输入数据一个通道，如通道2。
最后，根据肿块的掩模信息来生成一个二值图，在该二值图中，通道2中掩模的大小经过一定的随机变换(包括旋转，缩放，反转等)，且其位置随机的落在通道1中乳房的区域中，该位置受到一定的约束来确保整个掩模不会超出乳房的边界。将该二值图作为输入数据的第三个通道，即通道3。
S203、将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器，得到合成图像；
S204、将所述合成图像划分为多个子图像，利用所述生成对抗网络中的评价器，根据第二损失函数分别对各个所述子图像进行评价，得到所述合成图像的综合评价结果；在所述综合评价结果满足预设要求时将所述合成图像作为合成训练样本；
上述第二损失函数用于衡量所述合成图像与真实图像之间的对抗损失和先验知识损失，其中所述先验知识损失包括区域融合损失和背景损失。
S205、根据第一预设损失函数，利用所述原始训练样本和所述合成训练样本对基于RCNN的病灶检测模型进行训练，直至达到预设终止条件，以完成对所述病灶检测模型的训练；
作为一种具体的实施方式，准备病灶检测模型的输入数据的过程包括：对生成器生成的钼靶图像和原有的数据集数据进行组织，统计出所有的数据(包含Inbreast图像和生成器生成的图像)中肿块病灶的掩模信息(Mask)，并存成掩模二值化图像，并和其对应的归属乳腺钼靶图像信息(如路径，尺寸大小，病灶类型)一起制成可查询表格csv。
由于基于深度学习的识别网络往往需要大量的数据，优选的，本实施例中，采用了Mask_RCNN作为病灶检测模型，对于其损失函数，除了定位的bbox损失函数和分类的分类损失函数，本实施例还加入了分割损失函数来提高最终掩模(Mask)的准确性，也就是说，上述第一损失函数用于衡量所述掩模信息的定位损失、分类损失和分割损失。
具体实现中，本实施例采用了残差深度卷积网络Resnet50作为骨架，并采用了COCO预训练模型作为初始网络参数进行迁移学习。
S206、将待检测的所述目标组织的钼靶图像输入所述病灶检测模型，得到病灶区域的掩模信息，以作为病灶检测结果。
生成对抗网络主要包括生成器和评价器，为了确保该生成对抗网络能够有效收敛，生成对抗网络的损失函数即上述第二损失函数同样需要采用特殊设计。下面分别对生成对抗网络的生成器、评价器、第二损失函数进行介绍：
1)生成器
生成对抗网络的生成器采用S202中的三通道数据组织形式作为输入，并采用了具有眼镜结构的编解码(Encoder，Decoder)UNet 5层网络结构。其中编码器部分基于二维卷积滤波器逐步提取三通道数据中的乳腺及病灶信息，并延展成一维特征信息，解码器部分将特征信息采用二维反卷积滤波器逐步上采样并形成一幅合成图像。为了尽可能的保留特征信息，本实施例在编解码器的每层之间增加了跃层链接。
2)评价器
生成对抗网络的评价器将生成器生成的合成图像作为输入，并判断该图是否达到要求。现有的生成对抗网络往往采用整体图像分类器来对输入图像进行分类以判断该图是否为真实。优选的，对于钼靶图像，为了尽可能对纹理细节进行保留，本实施例采用了局部评判的方法来判断。具体的，将合成图像划分成N*N个区块，构建包含4层卷积网络层的分类器来逐一进行分类判断，并取最终分类loss的均值作为评价指标。
3)生成对抗网络的损失函数的设计
假设给定一个病灶区块E，一个正常的乳腺钼靶图像X，还有一个随机位置(x,y)，那么生成对抗网络G将产生一个合成的钼靶图Y：
Y＝G(X,E,x,y；θg)
其中θg是在网络训练中需要被优化的参数。因而总体上，本实施例提出了如下的损失函数：L＝Ladv+λpLprior。如该式所示，本实施例中，生成对抗网络的损失函数L在具体设计中，主要包含对抗损失Ladv和先验知识损失Lprior，下面分别对二者进行介绍：
对于对抗损失(Adversary Loss)，为了使得合成图像看起来和真实图像的区别尽可能的小，本实施例采用了如下形式的对抗损失：
Ladv＝EY[logD(Y)]+EX,E[log(1-D(G(X,E)))]
其中G是生成合成图像的生成器网络，而D获取生成图G(X,E)和真实图(Y)之间的差异。
由于上述对抗损失函数并不容易使得网络收敛，尤其是对于小样本网络。因而，本实施例进一步引入了先验知识损失函数：
Lprior＝LS+LB
其中LS为区域融合损失函数，LB为背景损失函数。
由于病灶区相对于钼靶图像而言一般较小，这里本实施例提出了一种区域注意力损失函数，能够使得生成器特别关注于病灶生成区域Ω：
其中，forall i,j∈Ω,
此外，为了尽可能的保存钼靶图像中除病灶区外的其他背景区域不受干扰，本实施例采用L1距离和梯度差异损失来监督生成以确保生成器生成的图像中背景部分的信号强度和梯度变化尽可能小：
这里，下标B特指除病灶外的乳腺区域。
可见，本实施例提供的一种基于生成对抗网络的病灶检测模型的训练方法，和现有的技术相比，具有如下几点优点：
第一，提出了新的对抗生成网络的数据输入结构，直接把正常图像，病灶和病灶掩模组合成三通道图像数据进行喂入，提高了网络信息的利用率，不仅可以更有效的生成新的样本，而且降低了网络对于数据的需求；
第二，以往的生成对抗网络在进行图像生成的判别器的判别过程中，往往是对整幅图像进行分类以评判对错，本实施例则根据钼靶图像的特性，提出了针对于各个区块进行分别评判的思路，从而提高最终输出图像细节优化的效果；
第三，基于先验知识的区域融合损失函数和背景损失函数相结合的损失函数来监督网络的收敛过程，这种方法尤其适合于小样本的网络，同时也让网络将注意力更加集中于病灶区域。
下面对本申请实施例提供的一种基于生成对抗网络的病灶检测模型的训练装置进行介绍，下文描述的一种基于生成对抗网络的病灶检测模型的训练装置与上文描述的一种基于生成对抗网络的病灶检测模型的训练方法可相互对应参照。
如图3所示，该装置包括：
样本获取模块301：用于获取原始训练样本，所述原始训练样本包括目标组织的医学影像和标注信息；
输入数据组织模块302：用于根据所述标注信息，确定所述医学影像中的正常图像和异常图像，从所述异常图像中提取病灶区域图像，并生成病灶区域的掩模二值图；
图像合成模块303：用于将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器，得到合成图像；
图像评价模块304：用于将所述合成图像划分为多个子图像，利用所述生成对抗网络中的评价器分别对各个所述子图像进行评价，得到所述合成图像的综合评价结果；在所述综合评价结果满足预设要求时将所述合成图像作为合成训练样本；
检测模型训练模块305：用于利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，直至达到预设终止条件，以完成对所述病灶检测模型的训练。
本实施例的基于生成对抗网络的病灶检测模型的训练装置用于实现前述的基于生成对抗网络的病灶检测模型的训练方法，因此该装置中的具体实施方式可见前文中的基于生成对抗网络的病灶检测模型的训练方法的实施例部分，例如，样本获取模块301、输入数据组织模块302、图像合成模块303、图像评价模块304、检测模型训练模块305，分别用于实现上述基于生成对抗网络的病灶检测模型的训练方法中步骤S101，S102，S103，S104，S105。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的基于生成对抗网络的病灶检测模型的训练装置用于实现前述的基于生成对抗网络的病灶检测模型的训练方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本申请还提供了一种基于生成对抗网络的病灶检测模型的训练设备，如图4所示，包括：
存储器100：用于存储计算机程序；
处理器200：用于执行所述计算机程序，以实现如前文所述的一种基于生成对抗网络的病灶检测模型的训练方法的步骤。
最后，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如前文所述的一种基于生成对抗网络的病灶检测模型的训练方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于生成对抗网络的病灶检测模型的训练方法，其特征在于，包括：
获取原始训练样本，所述原始训练样本包括目标组织的医学影像和标注信息；
根据所述标注信息，确定所述医学影像中的正常图像和异常图像，从所述异常图像中提取病灶区域图像，并生成病灶区域的掩模二值图；
将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器，得到合成图像；
将所述合成图像划分为多个子图像，利用所述生成对抗网络中的评价器分别对各个所述子图像进行评价，得到所述合成图像的综合评价结果；在所述综合评价结果满足预设要求时将所述合成图像作为合成训练样本；
利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，直至达到预设终止条件，以完成对所述病灶检测模型的训练。
2.如权利要求1所述的方法，其特征在于，所述将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器，得到合成图像，包括：
将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器；
利用所述生成器中的编码器基于二维卷积滤波器逐步提取所述三通道数据的组织和病灶信息，并延展为一维特征信息；
利用所述生成器中的解码器采用二维反卷积滤波器对所述一维特征信息进行逐步上采样，得到合成图像。
3.如权利要求1所述的方法，其特征在于，在所述利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，直至达到预设终止条件之后，还包括：
将待检测的所述目标组织的医学影像输入所述病灶检测模型，得到病灶区域的掩模信息，以作为病灶检测结果。
4.如权利要求3所述的方法，其特征在于，所述利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，包括：
利用所述原始训练样本和所述合成训练样本对基于RCNN的病灶检测模型进行训练。
5.如权利要求3所述的方法，其特征在于，所述利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，包括：
根据第一预设损失函数，利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，所述第一损失函数用于衡量所述掩模信息的定位损失、分类损失和分割损失。
6.如权利要求1所述的方法，其特征在于，所述获取原始训练样本，所述原始训练样本包括目标组织的医学影像和标注信息，包括：
从公开数据集获取原始训练样本，所述原始训练样本包括成像部位的医学影像和标注信息。
7.如权利要求1-6任意一项所述的方法，其特征在于，所述利用所述生成对抗网络中的评价器分别对各个所述子图像进行评价，包括：
利用所述生成对抗网络中的评价器，根据第二损失函数分别对各个所述子图像进行评价，所述第二损失函数用于衡量所述合成图像与真实图像之间的对抗损失和先验知识损失，其中所述先验知识损失包括区域融合损失和背景损失。
8.一种基于生成对抗网络的病灶检测模型的训练装置，其特征在于，包括：
样本获取模块：用于获取原始训练样本，所述原始训练样本包括目标组织的医学影像和标注信息；
输入数据组织模块：用于根据所述标注信息，确定所述医学影像中的正常图像和异常图像，从所述异常图像中提取病灶区域图像，并生成病灶区域的掩模二值图；
图像合成模块：用于将所述正常图像、所述病灶区域图像、所述掩模二值图像作为三通道数据输入生成对抗网络中的生成器，得到合成图像；
图像评价模块：用于将所述合成图像划分为多个子图像，利用所述生成对抗网络中的评价器分别对各个所述子图像进行评价，得到所述合成图像的综合评价结果；在所述综合评价结果满足预设要求时将所述合成图像作为合成训练样本；
检测模型训练模块：用于利用所述原始训练样本和所述合成训练样本对病灶检测模型进行训练，直至达到预设终止条件，以完成对所述病灶检测模型的训练。
9.一种基于生成对抗网络的病灶检测模型的训练设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的一种基于生成对抗网络的病灶检测模型的训练方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的一种基于生成对抗网络的病灶检测模型的训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010161624.7A CN111383215A (zh) | 2020-03-10 | 2020-03-10 | 一种基于生成对抗网络的病灶检测模型的训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010161624.7A CN111383215A (zh) | 2020-03-10 | 2020-03-10 | 一种基于生成对抗网络的病灶检测模型的训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111383215A true CN111383215A (zh) | 2020-07-07 |
Family
ID=71219920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010161624.7A Pending CN111383215A (zh) | 2020-03-10 | 2020-03-10 | 一种基于生成对抗网络的病灶检测模型的训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383215A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111816306A (zh) * | 2020-09-14 | 2020-10-23 | 颐保医疗科技(上海)有限公司 | 一种医学数据处理方法、预测模型的训练方法及装置 |
| CN112365464A (zh) * | 2020-11-09 | 2021-02-12 | 成都信息工程大学 | 一种基于gan的医学图像病变区域弱监督定位方法 |
| CN113012249A (zh) * | 2021-03-02 | 2021-06-22 | 大连东软教育科技集团有限公司 | 一种在ct图像上生成病灶的方法、装置及存储介质 |
| CN113470448A (zh) * | 2021-06-30 | 2021-10-01 | 上海松鼠课堂人工智能科技有限公司 | 基于生成对抗网络的科学实验的模拟方法、系统及设备 |
| CN113658115A (zh) * | 2021-07-30 | 2021-11-16 | 华南理工大学 | 一种基于深度卷积生成对抗网络的图像异常检测方法 |
| CN113920396A (zh) * | 2021-10-08 | 2022-01-11 | 中国人民解放军军事科学院军事医学研究院 | 一种特殊岗位人员视觉认知能力量化评测方法、系统及评测设备 |
| CN115953345A (zh) * | 2023-03-09 | 2023-04-11 | 同心智医科技(北京)有限公司 | 脑出血医学图像的病变合成方法、装置及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503654A (zh) * | 2019-08-01 | 2019-11-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
| CN110544275A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 生成配准的带病灶分割标签的多模态mri的方法、系统及介质 |
-
2020
- 2020-03-10 CN CN202010161624.7A patent/CN111383215A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503654A (zh) * | 2019-08-01 | 2019-11-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
| CN110544275A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 生成配准的带病灶分割标签的多模态mri的方法、系统及介质 |
Non-Patent Citations (1)
| Title |
|---|
| CHUNZE LIN 等: "Breast Mass Detection in Mammograms via Blending Adversarial Learning" * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111816306A (zh) * | 2020-09-14 | 2020-10-23 | 颐保医疗科技(上海)有限公司 | 一种医学数据处理方法、预测模型的训练方法及装置 |
| CN111816306B (zh) * | 2020-09-14 | 2020-12-22 | 颐保医疗科技(上海)有限公司 | 一种医学数据处理方法、预测模型的训练方法及装置 |
| CN112365464A (zh) * | 2020-11-09 | 2021-02-12 | 成都信息工程大学 | 一种基于gan的医学图像病变区域弱监督定位方法 |
| CN112365464B (zh) * | 2020-11-09 | 2021-08-10 | 成都信息工程大学 | 一种基于gan的医学图像病变区域弱监督定位方法 |
| CN113012249A (zh) * | 2021-03-02 | 2021-06-22 | 大连东软教育科技集团有限公司 | 一种在ct图像上生成病灶的方法、装置及存储介质 |
| CN113012249B (zh) * | 2021-03-02 | 2024-02-06 | 东软教育科技集团有限公司 | 一种在ct图像上生成病灶的方法、装置及存储介质 |
| CN113470448A (zh) * | 2021-06-30 | 2021-10-01 | 上海松鼠课堂人工智能科技有限公司 | 基于生成对抗网络的科学实验的模拟方法、系统及设备 |
| CN113658115A (zh) * | 2021-07-30 | 2021-11-16 | 华南理工大学 | 一种基于深度卷积生成对抗网络的图像异常检测方法 |
| CN113920396A (zh) * | 2021-10-08 | 2022-01-11 | 中国人民解放军军事科学院军事医学研究院 | 一种特殊岗位人员视觉认知能力量化评测方法、系统及评测设备 |
| CN113920396B (zh) * | 2021-10-08 | 2022-11-04 | 中国人民解放军军事科学院军事医学研究院 | 一种特殊岗位人员视觉认知能力量化评测方法、系统及评测设备 |
| CN115953345A (zh) * | 2023-03-09 | 2023-04-11 | 同心智医科技(北京)有限公司 | 脑出血医学图像的病变合成方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111383215A (zh) | 一种基于生成对抗网络的病灶检测模型的训练方法 | |
| CN109272492B (zh) | 一种细胞病理涂片的处理方法及系统 | |
| Anupama et al. | Breast cancer classification using capsule network with preprocessed histology images | |
| CN110544264B (zh) | 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法 | |
| CN108898595B (zh) | 一种胸部图像中病灶区域的定位模型的构建方法及应用 | |
| JP4184842B2 (ja) | 画像判別装置、方法およびプログラム | |
| CN110648337A (zh) | 髋关节分割方法、装置、电子设备和存储介质 | |
| EP2027566B1 (en) | Automatic recognition of preneoplastic anomalies in anatomic structures based on an improved region-growing segmentation, and computer program therefor | |
| CN109598697B (zh) | 二维乳腺造影数据组的确定 | |
| Petrini et al. | Breast cancer diagnosis in two-view mammography using end-to-end trained efficientnet-based convolutional network | |
| CN101517614A (zh) | 肺结节的高级计算机辅助诊断 | |
| Romero et al. | End-to-end discriminative deep network for liver lesion classification | |
| Palma et al. | Detection of masses and architectural distortions in digital breast tomosynthesis images using fuzzy and a contrario approaches | |
| US20230005140A1 (en) | Automated detection of tumors based on image processing | |
| CN111882509A (zh) | 一种基于生成对抗网络的医学图像数据生成与检测方法 | |
| CN110047075A (zh) | 一种基于对抗网络的ct图像分割方法 | |
| Qiu et al. | Lung Nodules Detection in CT Images Using Gestalt‐Based Algorithm | |
| CN113850328A (zh) | 基于多视角深度学习的非小细胞肺癌亚型分类系统 | |
| CN115812220A (zh) | 用于乳腺摄影多视图肿块识别的方法和装置 | |
| Cai et al. | Identifying architectural distortion in mammogram images via a se-densenet model and twice transfer learning | |
| JP2024027078A (ja) | マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体 | |
| CN113191393A (zh) | 基于多模态融合的对比增强能谱乳腺摄影分类方法及系统 | |
| CN113139627B (zh) | 纵隔肿物识别方法、系统及装置 | |
| Mahoro et al. | Breast masses detection on mammograms using recent one-shot deep object detectors | |
| CN108682001A (zh) | 骨密度的测量方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200707 |
|
| WD01 | Invention patent application deemed withdrawn after publication |