CN112488937B - 针对分割任务的医学影像特征增强方法 - Google Patents
针对分割任务的医学影像特征增强方法 Download PDFInfo
- Publication number
- CN112488937B CN112488937B CN202011356102.9A CN202011356102A CN112488937B CN 112488937 B CN112488937 B CN 112488937B CN 202011356102 A CN202011356102 A CN 202011356102A CN 112488937 B CN112488937 B CN 112488937B
- Authority
- CN
- China
- Prior art keywords
- image
- focus
- pixel
- generator
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000003902 lesion Effects 0.000 claims abstract description 38
- 238000010586 diagram Methods 0.000 claims abstract description 24
- 230000008485 antagonism Effects 0.000 claims abstract description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 201000010099 disease Diseases 0.000 claims description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 206010028980 Neoplasm Diseases 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 201000007983 brain glioma Diseases 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明为一种针对分割任务的医学影像特征增强方法，该方法包括以下内容：加载病例数据并按通道合并影像数据；构建循环一致性生成对抗网络，训练循环一致性生成对抗网络包括：计算对抗性损失、计算循环一致性损失、计算类别性损失约束模型训练过程；获得增强了病灶信息的特征图：通过训练好循环一致性生成对抗网络后，将所有病灶影像输入到GP→N，能输出对应的无病灶影像；之后再将循环一致性生成对抗网络输出的无病灶影像逐像素减去GP→N原始输入影像，获得增强了病灶信息的特征图；将原始影像多通道数据和获得的增强了病灶信息的特征图在通道方向上叠加，输入到病灶分割模型，完成分割任务。该方法有助于更精细的分割，提升分割能力。
Description
技术领域
本发明涉及针对分割任务的医学影像特征增强方法。
背景技术
特征增强是指通过一定手段学习图片中的信息。有选择地突出图像中感兴趣区域，或抑制图像中不需要的特征。在医学影像中，经过特征增强方法，可以得到待分割目标区域的大致位置和形状。这对于计算机辅助诊断系统的训练和实际应用有很大帮助，不论是病例级别的诊断模型还是像素级别的诊断模型。
当前针对分割任务的特征增强方法主要可以分成两类，一类是先训练一个分类模型作为特征提取器，通过CAM、Grad-CAM等方法可视化特征，并引导分割模型。第二类是做级联模型，如Jiang等人在International Conference on Medical Image Computing andComputer Assisted Intervention Brainlesion Workshop(BrainLes2019)上发表的文章Two-Stage Cascaded U-Net:1st Place Solution to BraTS Challenge2019Segmentation Task就提出了一个级联U-Net 模型。他们把第一个U-Net模型作为特征增强模型，根据真实标注优化模型，利用第一个 U-Net学到的病灶的大小位置信息作为增强的特征引导第二个U-Net模型的训练。但这种方法在第一阶段进行特征增强时就需要分割标注，大大限制了可利用的数据量。同时，这种方法也是监督方法，同样在面对数据量较少的数据集时容易过拟合。因此，亟需一种可以解决上述问题的特征增强方法。
因此，针对分割任务的特征增强方法需要一种可以不利用分割标注就能做无监督的有病灶医学影像和无病灶医学影像转换的模型。
发明内容
针对现有技术的不足，本发明的目的是，提供一种针对分割任务的医学影像特征增强方法，该方法不需要分割标注实现无监督的有病灶医学影像和无病灶医学影像转换，获取特征增强部分，用于后续的分割任务中，利用病灶大致的位置和形状，引导后续的分割模型进行更精细的分割，提升后续模型的分割能力。
为实现上述目的，本发明的技术方案是：
一种针对分割任务的医学影像特征增强方法，该方法包括以下内容：
加载病例数据并按通道合并影像数据：获取某种病症的病例数据库，病例数据库以每个病人的ID命名文件夹，每个文件夹中存储着该病例的影像图片及其对应的诊断结果；将某个病例的所有影像数据先进行灰度值归一化，再按通道数合并为一张完整的多通道影像，记为原始影像；
构建循环一致性生成对抗网络，包括构建有病灶影像转换成无病灶影像的生成器GP→N、构建无病灶影像转换成有病灶影像的生成器GN→P、构建判断无病灶影像来源的判别器、构建判断有病灶影像来源的判别器；
训练循环一致性生成对抗网络包括：计算对抗性损失、计算循环一致性损失、计算类别性损失约束模型训练过程；
计算类别性损失以使得模型能用于后续对分割任务的增强，所述计算类别性损失的过程是：在训练过程中，对于无病灶影像Na，也输入到GP→N中，生成其对应的影像N′a，并计算类别性损失||N′a-Na||2；在训练过程中，通过约束||N′a-Na||2，使得模型拥有分辨输入类别的能力，即：当GP→N的输入是有病灶影像时，输出无病灶影像，而当输入本身就是无病灶影像时，几乎不改变影像信息，输出类原始影像；
获得增强了病灶信息的特征图：通过训练好循环一致性生成对抗网络后，将所有病灶影像输入到GP→N，即能输出对应的无病灶影像，或者原始的输入影像；当输入的影像包含病灶时，会输出对应的无病灶影像，而当输入的影像不包含病灶时，输出会是和输入的原始影像非常相似的类原始影像；之后再将循环一致性生成对抗网络输出的无病灶影像逐像素减去 GP→N原始输入影像，若原始影像有病灶影像，得到一个表现了病灶大致位置和形状的特征图，即为增强了病灶信息的特征图，若原始影像为无病灶影像，会得到一个几乎全黑的特征图，即为增强了病灶信息的特征图；因为有类别性损失，当输入的影像包含病灶时，会输出对应的无病灶影像，而当输入的影像不包含病灶时，输出会是和输入的原始影像非常相似的影像。之后再将生成的无病灶影像逐像素减去原始输入的影像，对于有病灶影像，可以得到一个表现了病灶大致位置和形状的特征图，即为增强了病灶信息的特征图，而对于无病灶影像，会得到一个几乎全黑的特征图。这一步获得的特征图会引导后续分割模型的训练，指示病灶的大致位置；
将原始影像多通道数据和获得的增强了病灶信息的特征图在通道方向上叠加，输入到病灶分割模型，输出表现了病灶的位置和形状的分割图，完成分割任务。
与现有技术相比，本发明的有益效果是：
1)本发明提出了一种新的无监督的用于病灶分割任务的特征增强方法。本发明在循环一致性生成对抗网络的基础上加入了类别性损失，约束有病灶影像生成无病灶影像的生成器在输入无病灶影像时，输出和输入的无病灶影像相似的无病灶影像，提升有病灶影像和无病灶影像生成的特征图的区分度，使得本发明能更好地适配临床环境。因为在实际的操作中，输入的数据不可能全是有病灶影像，而本发明加入的类别性损失使得本发明的输入可以是有病灶影像也可以是无病灶影像。在特征增强的过程中，可以自动地适配图像类别，提升类别区分度，并以此提升后续的分割模型的能力。
2)本发明循环一致性生成对抗网络的有病灶-无病灶转换的两个生成器，均融合了注意力模块，同样的输入分别进入生成器和注意力模块，二者的输出再处理后合成对应有病灶- 无病灶转换的生成器的输出，在不需要病灶部分的标注的情况下获得了更高的转换效果，可以简化标注病灶部分的工作。
3)本发明方法通过融合循环一致性损失，约束了模型的训练过程，使得生成模型可以处理更高分辨率的影像数据。
4)本申请利用CycleGAN基于肿瘤影像生成的非肿瘤影像与原始肿瘤影像的区别作为肿瘤的特征增强部分，用循环一致性对抗网络做有病灶医学影像和无病灶医学影像的互相转换，通过生成的无病灶影像逐像素减去原始的输入影像，得到的结果即为病灶的大致位置和形状，去引导分割模型的训练。相比于其他的针对分割任务的特征增强模型，由于本发明的特征增强模型是非监督模型，故本发明提出的模型的鲁棒性更强，更不易过拟合；且本发明的特征增强部分不需要分割标注，分割标注只在训练分割模型时需要，因此大大提升了可利用的数据量。在分割模型中加入本发明的特征增强方法获取的特征增强图，分割精度有显著提升，证明本申请提出的方法可以有效地进行特征增强操作，提高分割模型识别并生成病灶掩码的能力。
附图说明
图1为针对分割任务的医学影像特征增强方法的实施流程图
具体实施方式
下面结合实施例及附图进一步解释本发明，但并不以此作为对本申请保护范围的限定。
本发明针对分割任务的医学影像特征增强方法，根据图1，包括以下步骤：
步骤一：加载病例数据并按通道合并影像数据：获取某种病症的病例数据库，病例数据库以每个病人的ID命名文件夹，每个文件夹中存储着该病例的影像图片及其对应的诊断结果；将某个病例的所有影像数据先进行灰度值归一化，再按通道数合并为一张完整的多通道影像，合并后的多通道影像记为原始影像；
步骤二：构建包含注意力模块的有病灶影像转换成无病灶影像的生成器(GP→N)：其包含两部分，一部分是生成器，目的是祛除有病灶影像的病灶，将其恢复成一个无病灶的影像；另一部分是注意力模块，其目的是识别有病灶区域。最后注意力模块的输出与生成器输出逐像素相乘的结果作为前景，用全1矩阵逐像素减注意力模块的输出，再去与原始影像逐像素相乘的结果作为背景，合成的影像作为生成的无病灶影像输出。
步骤三：构建包含注意力模块的无病灶影像转换成有病灶影像的生成器(GN→P)：类似的，其包含两部分，生成器和注意力模块。生成器的训练目的是在无病灶影像中添加病灶，使其变成一个有病灶的影像。注意力模块的目的是识别出可以添加病灶的区域。同样也是注意力模块的输出与生成器输出逐像素相乘的结果作为前景，即病灶部分，用全1矩阵逐像素减去注意力模块的输出，再去与原始影像逐像素相乘的结果作为背景，合成的影像作为生成的有病灶影像输出。
步骤四：构建判断无病灶影像来源的判别器，其训练目的是正确判断输入来源，即判断其输入是真实的无病灶影像还是通过生成器合成的无病灶影像。并通过判别器的损失交替优化生成器和判别器。在优化生成器时，固定判别器的权重，朝着使得判别器损失更大的方向调节生成器的权重，在优化判别器时，固定生成器的权重，朝着使得判别器损失更小的方向调节判别器的权重。
步骤五：构建判断有病灶影像来源的判别器，同样，其训练目的是判断其输入是真实的有病灶影像还是通过生成器合成的有病灶影像。之后同步骤四一样，通过判别器的损失交替优化生成器和判别器。
步骤六：计算循环一致性损失约束模型训练过程：该循环一致性损失同样包括两部分，分别是有病灶影像的循环一致性损失，和无病灶影像的循环一致性损失。对于有病灶影像Pi，先输入到GP→N中，生成其对应的无病灶影像N′i，再将其输入到GN→P中，生成有病灶影像P′i，循环一致性损失即||P′i-Pi||1，即希望经过了两次生成器后重建出的有病灶影像和原始输入的有病灶影像尽可能相似。相似的，对于无病灶影像Nj，先输入到GN→P中，生成其对应的无病灶影像P′j，再将其输入到GP→N中，生成有病灶影像N′j，循环一致性损失即||N′j-Nj||1，即希望经过了两次生成器后重建出的无病灶影像和原始输入的无病灶影像尽可能相似。
步骤七：计算类别性损失以使得模型可用于后续对分割任务的增强：在训练过程中，对于无病灶影像Na，也输入到GP→N中，生成其对应的影像N′a，并计算类别性损失||N′a-Na||2。在训练过程中，通过约束||N′a-Na||2，使得模型拥有分辨输入类别的能力，即：当GP→N的输入是有病灶影像时，输出无病灶影像，而当输入本身就是无病灶影像时，几乎不改变影像，输出类原始影像。
至此获得训练后的循环一致性生成对抗网络。
步骤八：获得增强了病灶信息的特征图：通过训练好循环一致性生成对抗网络后，将所有病灶影像输入到GP→N，即可输出对应的无病灶影像(包括有病灶影像通过GP→N生成的无病灶影像，还包括本身为无病灶影像通过GP→N生成的和原始的输入影像十分相似的影像)。因为有步骤七的类别性损失，当输入的影像包含病灶时，会输出对应的无病灶影像，而当输入的影像不包含病灶时，输出会是和输入的原始影像非常相似的影像。之后再将循环一致性生成对抗网络输出的无病灶影像逐像素减去原始输入影像，对于原始输入影像为有病灶影像，可以得到一个表现了病灶大致位置和形状的特征图，即为增强了病灶信息的特征图，而对于原始输入影像为无病灶影像，会得到一个几乎全黑的特征图，此时也将其记为增强了病灶信息的特征图。这一步获得的特征图会引导后续分割模型的训练，指示病灶的大致位置。
步骤九：构建分割模型：将原始影像多通道数据和步骤八中获得的增强了病灶信息的特征图在通道方向上叠加，输入到病灶分割模型，如U-Net，病灶分割模型在构建时需要对原始输入影像数据进行标注，对标注后的影像进行训练优化得到优化后的病灶分割模型，直接用于分割任务。
实施例1
本实例针对脑胶质瘤数据库中的多模态核磁影像进行肿瘤部分特征增强和分割。
脑胶质瘤数据库31491个病例，每个病例有4个模态的核磁影像，共有125964例影像，其中，有23504例是包含肿瘤病灶的样本，7987例是不包含肿瘤病灶的样本。共占用1.15GB 空间。
加载病例数据：获取某种病症的数据库，该数据库包括每个病人对应的影像数据，及其对应影像数据的诊断结果，即是/否包含该病灶；数据库同时包含病灶的数据还有病灶区域的真实标注，即表现病灶位置和形状的掩码，该真实标注用于后续的病灶分割模型的训练优化；
根据标签分类数据集：将所有病例的影像按照诊断结果进行分类，分为包含病灶的数据和不含病灶的数据。记为正样本(包含病灶的病例)和负样本(不包含病灶的病例)；
按通道合并影像数据：将某个病例的所有影像数据先进行灰度值归一化：根据影像数据的灰度值区间[a，b]求得该影像数据的灰度值范围为b-a，若原始影像某个像素点的灰度值为x，则归一化后此像素点的灰度值为
对所有影像完成此操作后，再按通道合并为一张完整的多通道影像，若该数据库中各个病例都包含四张影像图片，每个图片的大小为 (240，240)，则合并后的图像的格式为(4，240，240)，4表示四张影像图片；
以下详细说明个步骤详情及模型参数设置：
步骤一：加载影像数据。
用python语言中的os模块遍历存放数据的文件夹中的所有.nii格式的文件，并保存路径，再根据文件名获取对应的分割标注的真实标注。以存放在’/tumor/data/’路径下文件夹名为 abcde的病例为例，先获取该病例的存放路径，即’/tumor/data/abced’，再根据这个路径，查找该文件夹下的四个.nii格式的文件，分别是abced_t1.nii，abcde_t2.nii，abcde_t1c.nii，abcde_flair.nii，再对应到路径为’tumor/mask/abced.nii’的分割标注，分割标注用于后期分割模型的训练。
获取了所有的病例所对应的影像和分割标注的路径后，利用pandas库保存到表里。
步骤二：数据集划分。
使用scikit-learn库进行数据的划分，按照7∶1∶2的比例划分训练集，验证集和测试集。其中，训练集用于模型的训练，验证集用于选择最优的模型，测试集用于测试模型的效果。最后，将数据划分的结果保存到上一步生成的表中。
步骤三：数据集分类。
读取各个病例的分割标注，根据标注进行正负例的判断。分割标注以1/0表示该像素点上肿瘤病灶的有/无。如果整个分割标注为全0的矩阵，则对应的病例为负例，剩下的即为正例。
步骤四：影像数据多通道融合。
将获取一个病例下四种模态数据的灰度值域，如[x，y]，再做归一化处理，把值域范围归到[0，1]，将归一化后的四个模态的影像，在通道方向上进行堆叠，获得一个形状为[4，240,240] 的多通道影像。
步骤五：构建并训练循环一致性生成对抗网络。
循环一致性生成对抗网络包含两个生成器和两个判别器。包含注意力模块的有病灶影像转换成无病灶影像的生成器(GP→N)旨在根据包含肿瘤的多通道影像数据生成不包含肿瘤的多通道影像数据，判别器DN旨在判断输入是真实的不包含肿瘤的多通道影像数据还是生成的不包含肿瘤的多通道影像数据。相类似的，包含注意力模块的有病灶影像转换成无病灶影像的生成器(GN→P)旨在根据不包含肿瘤的多通道影像数据生成包含肿瘤的影像数据，而判别器DP旨在判断输入的多通道影像是真实的包含肿瘤的多通道影像还是生成的包含肿瘤的多通道影像。如图1中左下角“包含注意力模块的生成器GP→N|GN→P”中所示，生成器(G)和注意力网络(A)的结构类似，G为 [c7s1_64，d128，d256，R256，R256，R256，R256，R256，R256，u128，u64，c7s1_4]，A为 [c7s1_64，d128，d256，R256，R256，R256，R256，R256，R256，u128，u64，c7s1_1]，[c7s 1_64] 表示一个[核大小为7*7，步长大小为1，层数为64]的卷积-批标准化-ReLU结构。[d 128] 表示一个[核大小为3*3，步长为2，层数为128]的卷积层。[d256]表示一个[核大小为3*3，步长为2，层数为256]的卷积层。[R 256]表示两个[核大小为3*3，步长为1，层数为256] 的残差块。[u 128]表示一个[核大小为3*3，步长为1/2，层数为128]的上采样结构。[u 64] 表示一个[核大小为3*3，步长为1/2，层数为64]的上采样结构，[c7s 1_4]表示一个[核大小为7*7，步长大小为1，层数为4]的卷积-批标准化-ReLU结构，[c7s 1_1]表示一个[核大小为7*7，步长大小为1，层数为1]的卷积-批标准化-ReLU结构。判别器(DN|DP)的结构为 [C64，C128，C256，C512，C512，A]，[C 64]表示一个[核大小为3*3，步长为2，层数为k]的卷积- 批标准化-ReLU结构，[C 128]表示一个[核大小为3*3，步长为2，层数为128]的卷积-批标准化-ReLU结构，[C 256]表示一个[核大小为3*3，步长为2，层数为256]的卷积-批标准化 -ReLU结构，[C 512]表示一个[核大小为3*3，步长为2，层数为512]的卷积-批标准化-ReLU 结构。[A]表示一个[层数为1]的全局池化层。
利用在前面步骤分类的不同类型的病例训练循环一致性生成对抗网络，并利用循环一致性损失和类别性损失约束模型的训练过程。通过对抗性的损失学习包含病灶的正样本和不含病灶的负样本之间对高阶信息之间的差异。计算类别性损失的过程是：在训练过程中，对于无病灶影像Na，也输入到GP→N中，生成其对应的影像N′a，并计算类别性损失||N′a-Na||2；在训练过程中，通过约束||N′a-Na||2，使得模型拥有分辨输入类别的能力，即：当GP→N的输入是有病灶影像时，输出无病灶影像，而当输入本身就是无病灶影像时，输出为类原始影像的无病灶影像。
步骤六：获取病灶信息增强的特征图。
在完成循环一致性生成对抗网络的训练后，所有的训练图像被重新输入训练好的生成器 GP→N中去生成无肿瘤的多通道影像数据，循环一致性生成对抗网络能输出对应的无病灶影像；用原始的多通道影像数据和生成的无肿瘤影像数据进行像素级的减操作(减操作具体谁见谁没有要求，操作一致即可，都是原图减生成图，或者都是生成图减原图)，获取原始多通道影像和生成的无肿瘤影像的区别图，区别图即增强了肿瘤部分信息的特征图。
利用训练完成的有病灶影像转换成无病灶影像的生成器(GP→N)进行一对一的输入影像到消除了病灶的负样本之间的生成，并利用生成的不含病灶的负样本与原始输入之间的逐像素灰度差进行病灶的特征增强，获得增强了病灶信息的特征图。
步骤七：构建分割模型。
将原始多通道影像和获得的增强了肿瘤部分信息的特征图在通道上拼接后一起输入到分割模型中，根据肿瘤分割标注，依据二元交叉熵损失优化模型。
加载当前病种的某个病例的影像信息，按照上述的按通道合并影像数据的方式获得当前病例的多通道影像，输入到基于循环一致性生成对抗网络训练的有病灶影像转换成无病灶影像的生成器(GP→N)中，输出对应的无病灶影像；通过与原始多通道影像进行逐像素求灰度差值的方式，输出增强了病灶目标信息的特征图；再将该特征图与该病例的多通道影像融合，输入到训练好的分割模型(U-Net)中，输出表现了病灶的位置和形状的掩码的分割图。
本实施例以病例为单位对脑胶质瘤多模态核磁影像进行肿瘤自动分割的任务，分割的 DICE指标为0.9021(大于特征增强前相同分割模型的分割DICE指标0.8767即为有效)。相对增长率为20.6％，特征增强效果明显。
本发明在特征增强时无需分割标注，创新性地仅利用病例是/否存在病灶这种基于整图的信息，完成了对图片像素点是/否包含肿瘤的粗判断，从而完成了对病灶的特征增强。同时，本发明循环一致性对抗网络通过加入类别性损失，使得在进行针对病灶的特征增强时，不需要对训练好的GP→N的输入的类别进行限定，完成了自动的类别判断，使得本发明可以更适用在实际的临床CAD(Computer-Aided-Diagnosis)系统中使用。本发明方法避免了使用监督模型而造成的过拟合、泛化能力差的问题，最大程度地利用数据信息，提高分割精度及效果。
本发明未述及之处适用于现有技术。
Claims (7)
1.一种针对分割任务的医学影像特征增强方法，该方法包括以下内容：
加载病例数据并按通道合并影像数据：获取某种病症的病例数据库，病例数据库以每个病人的ID命名文件夹，每个文件夹中存储着该病例的影像图片及其对应的诊断结果；将某个病例的所有影像数据先进行灰度值归一化，再按通道数合并为一张完整的多通道影像，记为原始影像；
构建循环一致性生成对抗网络，包括构建有病灶影像转换成无病灶影像的生成器GP→N、构建无病灶影像转换成有病灶影像的生成器GN→P、构建判断无病灶影像来源的判别器DN、构建判断有病灶影像来源的判别器DP；
训练循环一致性生成对抗网络包括：计算对抗性损失、计算循环一致性损失、计算类别性损失约束模型训练过程；
所述计算类别性损失的过程是：在训练过程中，对于无病灶影像Na，也输入到GP→N中，生成其对应的影像N′a，并计算类别性损失||N′a-Na||2；在训练过程中，通过约束||N′a-Na||2，使得模型拥有分辨输入类别的能力，即：当GP→N的输入是有病灶影像时，输出无病灶影像，而当输入本身就是无病灶影像时，输出为类原始影像的无病灶影像；
获得增强了病灶信息的特征图：通过训练好循环一致性生成对抗网络后，将所有病灶影像输入到GP→N，能输出对应的无病灶影像；之后再将循环一致性生成对抗网络输出的无病灶影像逐像素减去GP→N原始输入影像，获得一个表现了病灶大致位置和形状的特征图，即为增强了病灶信息的特征图；
将原始影像多通道数据和获得的增强了病灶信息的特征图在通道方向上叠加，输入到病灶分割模型，完成分割任务。
2.根据权利要求1所述的一种针对分割任务的医学影像特征增强方法，其特征在于，所述有病灶影像转换成无病灶影像的生成器GP→N为包含注意力模块和生成器，生成器用于祛除有病灶影像的病灶，将其恢复成一个无病灶的影像，注意力模块用于识别有病灶区域；
注意力模块和生成器的输入均为原始影像，注意力模块的输出与生成器的输出逐像素相乘的结果作为前景，用全1矩阵逐像素减注意力模块的输出，再去与原始影像逐像素相乘的结果作为背景，合成的影像作为有病灶影像转换成无病灶影像的生成器GP→N的无病灶影像输出；
无病灶影像转换成有病灶影像的生成器GN→P的结构也包含注意力模块和生成器，这里生成器用于在无病灶影像中添加病灶，使其变成一个有病灶的影像；注意力模块用于识别出能添加病灶的区域；注意力模块和生成器的输入均为原始影像，注意力模块的输出与生成器输出逐像素相乘的结果作为前景，即病灶部分，用全1矩阵逐像素减去注意力模块的输出，再去与原始影像逐像素相乘的结果作为背景，合成的影像作为无病灶影像转换成有病灶影像的生成器GN→P的有病灶影像输出。
3.根据权利要求2所述的一种针对分割任务的医学影像特征增强方法，其特征在于，所述注意力模块的网络结构是：[c7s1_64，d128，d256，R256，R256，R256，R256，R256，R256，u128，u64，c7s1_1]，
其中，[c7s1_64]表示一个[核大小为7*7，步长大小为1，层数为64]的卷积-批标准化-ReLU结构；
[d128]表示一个[核大小为3*3，步长为2，层数为128]的卷积层；
[d256]表示一个[核大小为3*3，步长为2，层数为256]的卷积层；
[R256]表示两个[核大小为3*3，步长为1，层数为2.56]的残差块；
[u128]表示一个[核大小为3*3，步长为1/2，层数为128]的上采样结构；
[u64]表示一个[核大小为3*3，步长为1/2，层数为64]的上采样结构，
[c7s1_1]表示一个[核大小为7*7，步长大小为1，层数为1]的卷积-批标准化-ReLU结构。
4.根据权利要求2所述的一种针对分割任务的医学影像特征增强方法，其特征在于，GP→N和GN→P的生成器网络结构为：[c7s1-64，d128，d256，R256，R256，R256，R256，R256，R256，u128，u64，c7s1_4]，[c7s1_4]表示一个[核大小为7*7，步长大小为1，层数为4]的卷积-批标准化-ReLU结构。
5.根据权利要求2所述的特征增强方法，其特征在于，无病灶影像来源的判别器DN和有病灶影像来源的判别器DP的结构相同，所述判别器的结构为[C64，C128，C256，C512，C512，A]，[C64]表示一个[核大小为3*3，步长为2，层数为64]的卷积-批标准化-ReLU结构，[C128]表示一个[核大小为3*3，步长为2，层数为128]的卷积-批标准化-ReLU结构，[C256]表示一个[核大小为3*3，步长为2，层数为256]的卷积-批标准化-ReLU结构，[C512]表示一个[核大小为3*3，步长为2，层数为512]的卷积-批标准化-ReLU结构；[A]表示一个[层数为1]的全局池化层。
6.根据权利要求1所述的一种针对分割任务的医学影像特征增强方法，其特征在于，加载当前病种的某个病例的影像信息，按照上述的按通道数合并影像数据的方式获得当前病例的多通道影像，输入到基于循环一致性生成对抗网络训练的有病灶影像转换成无病灶影像的生成器GP→N中，输出对应的无病灶影像；之后再将循环一致性生成对抗网络输出的无病灶影像逐像素减去GP→N原始输入影像，获得增强了病灶信息的特征图，再将该特征图与该病例的多通道影像融合，输入到训练好的分割模型中，输出表现病灶的位置和形状的分割图。
7.根据权利要求1所述的一种针对分割任务的医学影像特征增强方法，其特征在于，所述分割模型为U-Net模型，通过病灶的标注训练并优化分割模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011356102.9A CN112488937B (zh) | 2020-11-27 | 2020-11-27 | 针对分割任务的医学影像特征增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011356102.9A CN112488937B (zh) | 2020-11-27 | 2020-11-27 | 针对分割任务的医学影像特征增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112488937A CN112488937A (zh) | 2021-03-12 |
| CN112488937B true CN112488937B (zh) | 2022-07-01 |
Family
ID=74936032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011356102.9A Active CN112488937B (zh) | 2020-11-27 | 2020-11-27 | 针对分割任务的医学影像特征增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488937B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298979B (zh) * | 2021-12-09 | 2024-05-31 | 北京工业大学 | 一种局灶性病变征象描述指导的肝核磁影像序列生成方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930552A (zh) * | 2012-11-22 | 2013-02-13 | 北京理工大学 | 基于对称结构减影的脑肿瘤自动提取方法 |
| CN109872296A (zh) * | 2019-01-04 | 2019-06-11 | 中山大学 | 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法 |
| CN110097559A (zh) * | 2019-04-29 | 2019-08-06 | 南京星程智能科技有限公司 | 基于深度学习的眼底图像病灶区域标注方法 |
| CN111128349A (zh) * | 2019-11-14 | 2020-05-08 | 清华大学 | 基于gan的医学影像病灶检测标记数据增强方法及装置 |
| CN111462138A (zh) * | 2020-04-06 | 2020-07-28 | 华中科技大学 | 一种针对病变髋关节图像的半自动的分割方法和装置 |
| CN111462049A (zh) * | 2020-03-09 | 2020-07-28 | 西南交通大学 | 一种乳腺超声造影视频中病灶区形态自动标注方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091527B (zh) * | 2018-10-24 | 2022-07-05 | 华中科技大学 | 一种病理组织切片图像中病变区域自动检测方法及系统 |
| CN111275686B (zh) * | 2020-01-20 | 2023-05-26 | 中山大学 | 用于人工神经网络训练的医学图像数据的生成方法及装置 |
| CN111539467A (zh) * | 2020-04-17 | 2020-08-14 | 北京工业大学 | 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法 |
| CN111815610B (zh) * | 2020-07-13 | 2023-09-12 | 广东工业大学 | 一种病变图像的病灶检测方法及装置 |
-
2020
- 2020-11-27 CN CN202011356102.9A patent/CN112488937B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930552A (zh) * | 2012-11-22 | 2013-02-13 | 北京理工大学 | 基于对称结构减影的脑肿瘤自动提取方法 |
| CN109872296A (zh) * | 2019-01-04 | 2019-06-11 | 中山大学 | 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法 |
| CN110097559A (zh) * | 2019-04-29 | 2019-08-06 | 南京星程智能科技有限公司 | 基于深度学习的眼底图像病灶区域标注方法 |
| CN111128349A (zh) * | 2019-11-14 | 2020-05-08 | 清华大学 | 基于gan的医学影像病灶检测标记数据增强方法及装置 |
| CN111462049A (zh) * | 2020-03-09 | 2020-07-28 | 西南交通大学 | 一种乳腺超声造影视频中病灶区形态自动标注方法 |
| CN111462138A (zh) * | 2020-04-06 | 2020-07-28 | 华中科技大学 | 一种针对病变髋关节图像的半自动的分割方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| SAG-GAN: Semi-Supervised Attention-Guided GANs for Data Augmentation on Medical Images;Chang Qi et al;《arXiv》;20201115;全文 * |
| Semi-Supervised Attention-Guided CycleGAN for Data Augmentation on Medical Images;Zhenghua Xu et al;《2019 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)》;20200206;全文 * |
| 生成对抗网络在医学小样本数据中的应用;张凯 等;《内江师范学院学报》;20200430;第35卷(第4期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112488937A (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111524106B (zh) | 颅骨骨折检测和模型训练方法、装置、设备和存储介质 | |
| CN111445478B (zh) | 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法 | |
| Yamanakkanavar et al. | A novel M-SegNet with global attention CNN architecture for automatic segmentation of brain MRI | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN115311130A (zh) | 一种多风格中国书法文字图像风格迁移方法、系统及终端 | |
| CN112488937B (zh) | 针对分割任务的医学影像特征增强方法 | |
| Han et al. | Learning generative models of tissue organization with supervised GANs | |
| CN111681204A (zh) | 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置 | |
| Zhao et al. | Double attention for multi-label image classification | |
| CN116894844B (zh) | 一种髋关节图像分割与关键点联动识别方法及装置 | |
| CN116824333A (zh) | 一种基于深度学习模型的鼻咽癌检测系统 | |
| Papadomanolaki et al. | A multi-task deep learning framework coupling semantic segmentation and image reconstruction for very high resolution imagery | |
| CN115731227A (zh) | 针对医学影像分割任务的生成式模态补足方法 | |
| CN115393730B (zh) | 一种火星陨石坑精确识别方法、电子设备及存储介质 | |
| CN114913519B (zh) | 一种3d目标检测方法、装置、电子设备及存储介质 | |
| Wang et al. | Detection of plane in remote sensing images using super-resolution | |
| Li et al. | DeepFuse neural networks | |
| CN115204318A (zh) | 事件自动层级分类方法及电子设备 | |
| CN111612762B (zh) | Mri脑肿瘤图像生成方法及系统 | |
| CN112598055B (zh) | 头盔佩戴检测方法、计算机可读存储介质和电子设备 | |
| CN112614092A (zh) | 脊柱检测方法和装置 | |
| Cordelières et al. | 3D quantitative colocalisation analysis | |
| CN112164074A (zh) | 一种基于深度学习的3d ct床快速分割方法 | |
| CN116188879B (zh) | 图像分类、图像分类模型训练方法、装置、设备及介质 | |
| Chilukuri | Detect nuclei and segment nuclei and cytoplasm in cervical cytology images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |