CN112927246A - 肺部轮廓分割、肿瘤免疫浸润分类系统及方法 - Google Patents
肺部轮廓分割、肿瘤免疫浸润分类系统及方法 Download PDFInfo
- Publication number
- CN112927246A CN112927246A CN202110223644.7A CN202110223644A CN112927246A CN 112927246 A CN112927246 A CN 112927246A CN 202110223644 A CN202110223644 A CN 202110223644A CN 112927246 A CN112927246 A CN 112927246A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- tumor
- data
- network
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 101
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 78
- 210000004072 lung Anatomy 0.000 title claims abstract description 73
- 230000008595 infiltration Effects 0.000 title claims abstract description 31
- 238000001764 infiltration Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 12
- 238000013145 classification model Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 210000002865 immune cell Anatomy 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 208000037841 lung tumor Diseases 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 238000003559 RNA-seq method Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000259 anti-tumor effect Effects 0.000 description 1
- 238000011394 anticancer treatment Methods 0.000 description 1
- 238000003766 bioinformatics method Methods 0.000 description 1
- 230000020411 cell activation Effects 0.000 description 1
- 230000023402 cell communication Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000000987 immune system Anatomy 0.000 description 1
- 239000002955 immunomodulating agent Substances 0.000 description 1
- 229940121354 immunomodulator Drugs 0.000 description 1
- 230000002584 immunomodulator Effects 0.000 description 1
- 238000009169 immunotherapy Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供了肺部轮廓分割、肿瘤免浸润分类系统及方法。包括：对第一数据集中的第一数据进行预处理；将预处理后的所述第一数据输入Unet网络进行训练得到分割网络；将第二数据集输入分割网络进行分割得到肺部区域分割结果；根据所述肺部区域分割结果得到第三数据集，对所述第三数据集中的第三数据进行预处理，同时处理肿瘤最大矩形区域得到注意力图，得到免疫浸润类型分类。该肺部轮廓分割、肿瘤免浸润分类系统改善了现有技术中医生肉眼区分不同的免疫浸润类型在CT上的影像表现难度较大的问题。
Description
技术领域
本发明涉及计算机多媒体技术领域，尤其是涉及一种基于深度学习的肺部轮廓分割、肿瘤免浸润分类系统及方法。
背景技术
通过发挥促肿瘤作用和抗肿瘤作用，浸润肿瘤的免疫细胞可以深刻影响肿瘤的进展以及抗癌治疗的成功。因此，肿瘤浸润免疫细胞的量化有望揭示免疫系统在人类癌症中的多方面作用，并参与肿瘤逃逸机制和对治疗的反应。我们可以使用生物信息学方法从人肿瘤的RNA测序数据中量化肿瘤浸润的免疫细胞。
医生团队对肺癌肿瘤免疫浸润进行分析，通过对样本进行免疫分型，并分析免疫相关细胞激活程度，结合关键蛋白表达等分析了不同亚型样本的免疫浸润程度及预测了不同亚型的预后。免疫调节剂及细胞通讯分析则为不同亚型个体的免疫治疗提供指导作用。
CT扫描可探测肺部病变情况，不同的免疫浸润类型在CT上有一定的影像表现，但医生肉眼区分难度较大。
发明内容
本发明的目的在于提供一种基于深度学习的肺部轮廓分割、肿瘤免疫浸润分类系统及方法，该基于深度学习的肺部轮廓分割、肿瘤免疫浸润分类系统能够解决现有技术中医生肉眼区分不同的免疫浸润类型在CT上的影像表现难度较大的问题。
为了实现上述目的，本发明提供如下技术方案：
一种肺部轮廓分割方法，所述方法具体包括：
S101，对第一数据集中的第一数据进行预处理；
S102，将预处理后的所述第一数据输入Unet网络进行训练得到分割网络；
一种肿瘤免疫浸润分类方法，所述方法具体包括：
S101，对第一数据集中的第一数据进行预处理；
S102，将预处理后的所述第一数据输入Unet网络进行训练得到分割网络；
S103，将第二数据集输入分割网络进行分割得到肺部区域分割结果；
S104，根据所述肺部区域分割结果得到第三数据集，对所述第三数据集中的第三数据进行预处理，同时处理肿瘤最大矩形区域得到注意力图，得到免疫浸润类型分类。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步地，得到第三数据集具体包括：以肿瘤区域最大区域所在的CT切片为中心，上下各取8层CT切片，形成所述第三数据集。
进一步地，得到免疫浸润类型分类具体包括：将所述第三数据集中的CT图像读取为RGB三通道，通过imagenet均值方差将所述RGB三通道归一化；将肿瘤最大矩形区域的角点坐标输入所述分类网络，所述分类网络根据生成肿瘤区域为1，其余区域为0的注意力图；resnet输出特征图，根据所述特征图的大小等比例缩放所述注意力图。
进一步地，得到免疫浸润类型分类具体还包括：将RGB三通道归一化后的第三数据集和所述注意力图输入所述分类网络，通过resnet作为backbone提取第一数据和所述注意力图中肿瘤的高阶特征。
进一步地，得到免疫浸润类型分类具体还包括：将所述高阶特征输入注意力模块，将所述特征图与所述注意力图相乘，得到肿瘤局部特征图，将肺部全局特征图和所述肿瘤局部特征图拼接在一起，作为注意力模块的输出；
将所述肺部全局特征图和所述肿瘤局部特征图做平均池化，得到embedding后的第一特征向量。
进一步地，得到免疫浸润类型分类具体还包括：通过门控机制将所述肺部全局特征图和所述肿瘤局部特征图降维处理为256通道，通过线性层tanh函数激活得到权重值，通过线性层sigmoid函数得到门控值，所述权重值与所述门控值相乘得到门控权重，通过线性层将所述门控权重降维至16，得到每个肺部全局特征图和每个所述肿瘤局部特征图对应的特征向量权重。
进一步地，得到免疫浸润类型分类具体还包括：将所述第一特征向量乘以所述特征向量权重得到加权后的第二特征向量，将16个通道的第二特征向量相加，得到融合权重的第三特征向量；
所述第三特征向量通过全连接层，得到预测结构，使用交叉熵函数转为不同类型的概率，得到免疫浸润类型分类。
一种肺部轮廓分割系统，包括：
预处理模块，用于对第一数据集中的第一数据进行预处理；
分割模型，其包括Unet网络且所述分割模型与所述预处理模块通过数据接口相连，用于将预处理后的所述第一数据输入Unet网络进行训练，得到分割网络，将第二数据集输入所述分割网络进行分割得到肺部区域分割结果。
一种肿瘤免疫浸润分类系统，包括：
预处理模块，用于对第一数据集中的第一数据进行预处理；
分割模型，其包括Unet网络且所述分割模型与所述预处理模块通过数据接口相连，用于将预处理后的所述第一数据输入Unet网络进行训练，得到分割网络，将第二数据集输入所述分割网络进行分割得到肺部区域分割结果；
分类模型，其与分割模型通过数据接口，将肺部区域分割结果和肿瘤最大矩形区域的角点坐标输入分类网络，得到预测的免浸润类型。
本发明具有如下优点：
本发明中的肺部轮廓分割、肿瘤免浸润分类系统，提出了一套算法流程用于从CT图像序列得到病人的免疫浸润类型。结合了图像语义分割模型和基于注意力机制的图片分类模型。首先使用基于Unet的分割网络将肺部区域提取出来，然后将其作为输入进行病人的免疫浸润分类。最终实验结果表明，该方法可以有效地提取肺部病变区域，并能较准确地预测病人免疫浸润类型，对于临床医生而言，可以通过CT得到病理金标准的判断信息，非常有借鉴参考的意义；解决了现有技术中医生肉眼区分不同的免疫浸润类型在CT上的影像表现难度较大的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中肺部轮廓分割方法的流程示意图；
图2为本发明实施例中肿瘤免疫浸润分类方法的流程示意图；
图3为本发明实施例中肺部轮廓分割系统的流程示意图；
图4为本发明实施例中肿瘤免疫浸润分类系统的流程示意图；
图5为本发明实施例中Unet网络的结构示意图。
附图标记说明：
预处理模块10，分割模型20，分类模型30，Unet网络40。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种肺部轮廓分割方法，所述方法具体包括：
S101，对第一数据进行预处理；
本步骤中，对第一数据集中的第一数据进行预处理；
S102，得到分割网络；
本步骤中，将预处理后的所述第一数据输入Unet网络40进行训练得到分割网络；
如图2所示，一种肿瘤免疫浸润分类方法，所述方法具体包括：
S101，对第一数据进行预处理；
本步骤中，对第一数据集中的第一数据进行预处理；
S102，得到分割网络；
本步骤中，将预处理后的所述第一数据输入Unet网络40进行训练得到分割网络；
S103，得到肺部区域分割结果；
本步骤中，将第二数据集输入分割网络进行分割得到肺部区域分割结果；
S104，得到免疫浸润类型分类；
本步骤中，根据所述肺部区域分割结果得到第三数据集，对所述第三数据集中的第三数据进行预处理，同时处理肿瘤最大矩形区域得到注意力图，得到免疫浸润类型分类。
本发明的目的在于提出一种针对肺部区域的图像语义分割模型，并根据肺部肿瘤的多个CT序列预测病人的病理免疫浸润类型。整个流程可以分为两个部分：第一部分是使用深度学习算法提取每个CT序列的肺部区域分割掩盖图，将肺外部干扰信息去除，只保留肺内部的CT图像；第一数据集中的第一数据为CT序列。
第二部分是根据病理金标准得到的病人免疫浸润类型标签，基于肺部CT图像和已知的肺部肿瘤区域信息，训练分类网络得到病人的免疫浸润类型。模型构建同样分为两部分，第一部分构建图像语义分割模型20，搭建Unet网络40，使用800个CT序列数据作为第一数据集，将3张连续CT影像图作为输入进行训练，得到肺部分割结果，使用该模型可以得到肺部区域掩盖图。
第二部分构建免疫浸润分类模型30，使用480个病人的CT序列数据作为第二数据集，以肿瘤区域为中心，上下各取8层CT切片，共计16张切片作为第三数据集，输入进网络中，通过分类网络得到病人的免疫浸润类型。最后分类预测准确率达到77％。
在分割模型20中，本专利使用了Unet网络40作为图像分割模型20。如图3所示，该网络通过编码解码结构，解码结构通过卷积层叠加下采样提取图像特征，解码结构通过反卷积不断地重构空间信息和语义信息。编码器与解码器之间通过跳跃连接将图像的位置信息传递至解码器，使之分割的边缘结果更加准确。这一模块目的是提取肺部区域分割掩盖图，进而将肺外的干扰信息去除。
在分类模型30中，用imagenet预训练的resnet作为骨架网络，在网络顶层使用注意力机制同时关注肺部全局信息与肿瘤局部信息，通过多图片投票的方式得到最终的分类结果。
流程如图2所示。通过模块一得到的肺部区域分割掩盖图，以肿瘤最大区域所在的CT切片为中心，上下各取8张CT切片，共16张切片作为输入，同时放入分类网络进行训练。同时还将肿瘤最大矩形区域的角点坐标输入分类网络，生成肿瘤区域注意力图，肿瘤区域为1，其余部分置零，并根据backbone输出的特征图大小等比例缩放注意力图。
通过resnet提取肿瘤的高阶特征，将其输入注意力模块，将特征图与注意力图相乘，得到肺部肿瘤区域的高阶特征图，将肺部全局的特征图和肿瘤局部特征图拼接在一起，作为注意力模块的输出。将特征图做平均池化，将其输入分类模型30部分，分类模型30也使用了门控机制对不同的图片进行不同权重配比，最终投票得出最后的分类结果。
门控机制首先将特征图降维处理为256通道，权重值由tanh函数激活，门控单元由sigmoid函数控制，两者相乘得到门控注意力值，再将其通过多层感知机得到16张图片的投票权值，使用softmax函数将权重值归一化在0-1之间。将此权重乘以16个经过平均池化的第一特征向量，得到加权后的第二特征向量，压缩其特征至256维度，再用一个线性层作为网络的输出，使用交叉熵损失函数计算其类别概率，得出预测的免疫浸润类型。
本发明提出的肺部轮廓分割方法，包括：
数据预处理
数据格式为医学影像的标准格式Dicom。对于dicom数据，需要统一窗宽窗位并转为PNG图像格式，并做裁剪处理使整个数据集一致。
Unet网络肺部区域分割：
该部分中使用800例标注数据作为第一数据集，第一数据集划分如下：600例作为训练集，100例作为验证集，100例作为测试集。通过该方法得到肺部区域的特征，去除了肺外的多余结构，结果将作为分类网络的输入。
多图注意力机制分类网络：
该部分中使用480例标注数据作为第二数据集，第二数据集划分如下：286例作为训练集，94例作为验证集，100例作为测试集。
应用推理
如图5所示，在处理实际场景中的新到病例数据时，首先使用肺部分割模型20提取肺部区域掩盖图，然后使用分类网络，结合肺部全局信息与肿瘤的局部信息，通过注意力机制融合特征，得到最终的免疫浸润类型分类。
进一步地，将第二数据集输入所述分割网络进行分割具体包括：以肿瘤区域最大区域所在的CT切片为中心，上下各取8层CT切片，形成第三数据集，得到肺部区域分割结果和肿瘤最大矩形区域的角点坐标。
进一步地，得到免疫浸润类型分类具体包括：将所述第三数据集中的CT图像读取为RGB三通道，通过imagenet均值方差将所述RGB三通道归一化；将肿瘤最大矩形区域的角点坐标输入所述分类网络，所述分类网络根据生成肿瘤区域为1，其余区域为0的注意力图；resnet输出特征图，根据所述特征图的大小等比例缩放所述注意力图。
进一步地，得到免疫浸润类型分类具体还包括：将RGB三通道归一化后的第三数据集和所述注意力图输入所述分类网络，通过resnet作为backbone提取所述第一数据和所述注意力图中肿瘤的高阶特征。
进一步地，得到免疫浸润类型分类具体还包括：将所述高阶特征输入注意力模块，将所述特征图与所述注意力图相乘，得到肿瘤局部特征图，将肺部全局特征图和所述肿瘤局部特征图拼接在一起，作为注意力模块的输出。
进一步地，得到免疫浸润类型分类具体还包括：将所述肺部全局特征图和所述肿瘤局部特征图做平均池化，得到embedding后的第一特征向量。进一步地，得到免疫浸润类型分类具体还包括：通过门控机制将所述肺部全局特征图和所述肿瘤局部特征图降维处理为256通道，通过线性层tanh函数激活得到权重值，通过线性层sigmoid函数得到门控值，所述权重值与所述门控值相乘得到门控权重，通过线性层将所述门控权重降维至16，得到每个肺部全局特征图和每个所述肿瘤局部特征图对应的特征向量权重。
进一步地，得到免疫浸润类型分类具体还包括：将所述第一特征向量乘以所述特征向量权重得到加权后的第二特征向量，将16个通道的第二特征向量相加，得到融合权重的第三特征向量。
进一步地，得到免疫浸润类型分类具体还包括：所述第三特征向量通过全连接层，得到预测结构，使用交叉熵函数转为不同类型的概率，得到免疫浸润类型分类。
如图3所示，一种肺部轮廓分割系统，包括：
预处理模块10，用于对第一数据集中的第一数据进行预处理；
分割模型20，其包括Unet网络40且所述分割模型20与所述预处理模块10通过数据接口相连，用于将预处理后的所述第一数据输入Unet网络40进行训练，得到分割网络，将第二数据集输入所述分割网络进行分割得到肺部区域分割结果和肿瘤最大矩形区域的角点坐标。
如图4所示，一种肿瘤免疫浸润分类系统，包括：
预处理模块10，用于对第一数据集中的第一数据进行预处理；
分割模型20，其包括Unet网络且所述分割模型20与所述预处理模块10通过数据接口相连，用于将预处理后的所述第一数据输入Unet网络40进行训练，得到分割网络，将第二数据集输入所述分割网络进行分割得到肺部区域分割结果；
分类模型30，其与所述分割模型20通过数据接口，将所述肺部区域分割结果和肿瘤最大矩形区域的角点坐标输入分类网络，得到预测的免浸润类型。
本专利使用Dice系数评价分割模型20的性能。在分类网络部分，通过准确率来判断分类的准确性，使用了不同深度的resnet作为backbone，考虑到显存限制和训练精度，最终选取resnet50作为backbone。训练对比了Adam和SGD优化器，Adam训练难以收敛，SGD可以收敛。初始学习率对比了0.01，0.001和0.0001三种，采取了条件梯度衰减策略和warm up的学习率衰减策略。最终使用0.001学习率，验证集2代不变，则学习率变为原来0.1倍的学习率衰减策略组合最佳。最后各个部分的性能指标如下：
在肺部区域分割部分，在测试集上肺叶分割的Dice系数为0.95；
在免疫浸润分类部分，预测准确率达到77％，其中第一类准确率为82％，第二类准确率为66％。
综上，本专利模型可以快速有效的分割肺部区域，结合分类网络可以得到病人的免疫浸润类型分类，达到辅助医生诊断的目的。
该基于深度学习的肺部轮廓分割、肿瘤免疫浸润分类系统使用过程如下：
使用时，操作人员对第一数据集中的第一数据进行预处理；将预处理后的所述第一数据输入Unet网络40进行训练得到分割网络；将第二数据集输入所述分割网络进行分割得到肺部区域分割结果；将所述肺部区域分割结果和医生给定的肿瘤最大矩形区域的角点坐标输入分类网络，得到免疫浸润类型分类。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种肺部轮廓分割方法，其特征在于，所述方法具体包括：
S101，对第一数据集中的第一数据进行预处理；
S102，将预处理后的所述第一数据输入Unet网络进行训练得到分割网络。
2.一种肿瘤免疫浸润分类方法，其特征在于，所述方法具体包括：
S101，对第一数据集中的第一数据进行预处理；
S102，将预处理后的所述第一数据输入Unet网络进行训练得到分割网络；
S103，将第二数据集输入分割网络进行分割得到肺部区域分割结果；
S104，根据所述肺部区域分割结果得到第三数据集，对所述第三数据集中的第三数据进行预处理，同时处理肿瘤最大矩形区域得到注意力图，得到免疫浸润类型分类。
3.根据权利要求2所述肿瘤免疫浸润分类方法，其特征在于，得到第三数据集具体包括：以肿瘤区域最大区域所在的CT切片为中心，上下各取8层CT切片，形成所述第三数据集。
4.根据权利要求3所述肿瘤免疫浸润分类方法，其特征在于，得到免疫浸润类型分类具体包括：将所述第三数据集中的CT图像读取为RGB三通道，通过imagenet均值方差将所述RGB三通道归一化；将肿瘤最大矩形区域的角点坐标输入所述分类网络，所述分类网络根据生成肿瘤区域为1，其余区域为0的注意力图；resnet输出特征图，根据所述特征图的大小等比例缩放所述注意力图。
5.根据权利要求4所述肿瘤免疫浸润分类方法，其特征在，得到免疫浸润类型分类具体还包括：将RGB三通道归一化后的第三数据集和所述注意力图输入所述分类网络，通过resnet作为backbone提取第一数据和所述注意力图中肿瘤的高阶特征。
6.根据权利要求5所述肿瘤免疫浸润分类方法，其特征在于，得到免疫浸润类型分类具体还包括：将所述高阶特征输入注意力模块，将所述特征图与所述注意力图相乘，得到肿瘤局部特征图，将肺部全局特征图和所述肿瘤局部特征图拼接在一起，作为注意力模块的输出；
将所述肺部全局特征图和所述肿瘤局部特征图做平均池化，得到embedding后的第一特征向量。
7.根据权利要求6所述肿瘤免疫浸润分类方法，其特征在于，得到免疫浸润类型分类具体还包括：通过门控机制将所述肺部全局特征图和所述肿瘤局部特征图降维处理为256通道，通过线性层tanh函数激活得到权重值，通过线性层sigmoid函数得到门控值，所述权重值与所述门控值相乘得到门控权重，通过线性层将所述门控权重降维至16，得到每个肺部全局特征图和每个所述肿瘤局部特征图对应的特征向量权重。
8.根据权利要求7所述肿瘤免疫浸润分类方法，其特征在于，得到免疫浸润类型分类具体还包括：将所述第一特征向量乘以所述特征向量权重得到加权后的第二特征向量，将16个通道的第二特征向量相加，得到融合权重的第三特征向量；
所述第三特征向量通过全连接层，得到预测结构，使用交叉熵函数转为不同类型的概率，得到免疫浸润类型分类。
9.一种肺部轮廓分割系统，其特征在于，包括：
预处理模块，用于对第一数据集中的第一数据进行预处理；
分割模型，其包括Unet网络且所述分割模型与所述预处理模块通过数据接口相连，用于将预处理后的所述第一数据输入Unet网络进行训练，得到分割网络，将第二数据集输入所述分割网络进行分割得到肺部区域分割结果。
10.一种肿瘤免疫浸润分类系统，其特征在于，包括：
预处理模块，用于对第一数据集中的第一数据进行预处理；
分割模型，其包括Unet网络且所述分割模型与所述预处理模块通过数据接口相连，用于将预处理后的所述第一数据输入Unet网络进行训练，得到分割网络，将第二数据集输入所述分割网络进行分割得到肺部区域分割结果；
分类模型，其与分割模型通过数据接口，将肺部区域分割结果和肿瘤最大矩形区域的角点坐标输入分类网络，得到预测的免浸润类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110223644.7A CN112927246A (zh) | 2021-03-01 | 2021-03-01 | 肺部轮廓分割、肿瘤免疫浸润分类系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110223644.7A CN112927246A (zh) | 2021-03-01 | 2021-03-01 | 肺部轮廓分割、肿瘤免疫浸润分类系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112927246A true CN112927246A (zh) | 2021-06-08 |
Family
ID=76172686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110223644.7A Pending CN112927246A (zh) | 2021-03-01 | 2021-03-01 | 肺部轮廓分割、肿瘤免疫浸润分类系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112927246A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378933A (zh) * | 2021-06-11 | 2021-09-10 | 合肥合滨智能机器人有限公司 | 甲状腺超声图像分类和分割网络、训练方法、装置及介质 |
| CN113379774A (zh) * | 2021-06-30 | 2021-09-10 | 哈尔滨理工大学 | 一种基于Unet神经网络的动物轮廓分割方法、系统、设备及存储介质 |
| CN114120045A (zh) * | 2022-01-25 | 2022-03-01 | 北京猫猫狗狗科技有限公司 | 一种基于多门控混合专家模型的目标检测方法和装置 |
| CN116740067A (zh) * | 2023-08-14 | 2023-09-12 | 苏州凌影云诺医疗科技有限公司 | 一种针对食管病灶的浸润深度判定方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458249A (zh) * | 2019-10-10 | 2019-11-15 | 点内（上海）生物科技有限公司 | 一种基于深度学习与概率影像组学的病灶分类系统 |
| WO2020028382A1 (en) * | 2018-07-30 | 2020-02-06 | Memorial Sloan Kettering Cancer Center | Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy |
| CN111340828A (zh) * | 2020-01-10 | 2020-06-26 | 南京航空航天大学 | 基于级联卷积神经网络的脑部胶质瘤分割 |
| CN111340827A (zh) * | 2020-05-18 | 2020-06-26 | 天津精诊医疗科技有限公司 | 一种肺部ct影像数据处理分析方法及系统 |
| CN111401480A (zh) * | 2020-04-27 | 2020-07-10 | 上海市同济医院 | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 |
| CN111583246A (zh) * | 2020-05-11 | 2020-08-25 | 北京小白世纪网络科技有限公司 | 利用ct切片图像对肝脏肿瘤进行分类的方法 |
| CN112330645A (zh) * | 2020-11-11 | 2021-02-05 | 复旦大学 | 基于注意力机制的胶质瘤分级方法以及装置 |
| CN112348769A (zh) * | 2020-08-20 | 2021-02-09 | 盐城工学院 | 基于U-Net深度网络模型的CT影像中肾肿瘤智能分割方法及装置 |
-
2021
- 2021-03-01 CN CN202110223644.7A patent/CN112927246A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020028382A1 (en) * | 2018-07-30 | 2020-02-06 | Memorial Sloan Kettering Cancer Center | Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy |
| CN110458249A (zh) * | 2019-10-10 | 2019-11-15 | 点内（上海）生物科技有限公司 | 一种基于深度学习与概率影像组学的病灶分类系统 |
| CN111340828A (zh) * | 2020-01-10 | 2020-06-26 | 南京航空航天大学 | 基于级联卷积神经网络的脑部胶质瘤分割 |
| CN111401480A (zh) * | 2020-04-27 | 2020-07-10 | 上海市同济医院 | 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法 |
| CN111583246A (zh) * | 2020-05-11 | 2020-08-25 | 北京小白世纪网络科技有限公司 | 利用ct切片图像对肝脏肿瘤进行分类的方法 |
| CN111340827A (zh) * | 2020-05-18 | 2020-06-26 | 天津精诊医疗科技有限公司 | 一种肺部ct影像数据处理分析方法及系统 |
| CN112348769A (zh) * | 2020-08-20 | 2021-02-09 | 盐城工学院 | 基于U-Net深度网络模型的CT影像中肾肿瘤智能分割方法及装置 |
| CN112330645A (zh) * | 2020-11-11 | 2021-02-05 | 复旦大学 | 基于注意力机制的胶质瘤分级方法以及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李佳晟: ""基于深度学习的肝脏及肝脏肿瘤分割和检测的研究"", 《中国优秀硕士论文全文数据库》, 15 August 2020 (2020-08-15), pages 1 - 53 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378933A (zh) * | 2021-06-11 | 2021-09-10 | 合肥合滨智能机器人有限公司 | 甲状腺超声图像分类和分割网络、训练方法、装置及介质 |
| CN113379774A (zh) * | 2021-06-30 | 2021-09-10 | 哈尔滨理工大学 | 一种基于Unet神经网络的动物轮廓分割方法、系统、设备及存储介质 |
| CN114120045A (zh) * | 2022-01-25 | 2022-03-01 | 北京猫猫狗狗科技有限公司 | 一种基于多门控混合专家模型的目标检测方法和装置 |
| CN116740067A (zh) * | 2023-08-14 | 2023-09-12 | 苏州凌影云诺医疗科技有限公司 | 一种针对食管病灶的浸润深度判定方法和系统 |
| CN116740067B (zh) * | 2023-08-14 | 2023-10-20 | 苏州凌影云诺医疗科技有限公司 | 一种针对食管病灶的浸润深度判定方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113870259B (zh) | 多模态医学数据融合的评估方法、装置、设备及存储介质 | |
| CN112927246A (zh) | 肺部轮廓分割、肿瘤免疫浸润分类系统及方法 | |
| CN109523521B (zh) | 基于多切片ct图像的肺结节分类和病灶定位方法和系统 | |
| CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN109087703B (zh) | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 | |
| US20220301714A1 (en) | Method for predicting lung cancer development based on artificial intelligence model, and analysis device therefor | |
| CN110503630A (zh) | 一种基于三维深度学习模型的脑出血分类、定位与预测方法 | |
| WO2022001237A1 (zh) | 鼻咽癌原发肿瘤图像自动识别方法及系统 | |
| CN113077434B (zh) | 基于多模态信息的肺癌识别方法、装置及存储介质 | |
| CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
| CN111986189A (zh) | 一种基于ct影像的多类别肺炎筛查深度学习装置 | |
| CN112085736A (zh) | 一种基于混维卷积的肾肿瘤分割方法 | |
| Li et al. | A novel radiogenomics framework for genomic and image feature correlation using deep learning | |
| NL2029876A (en) | Deep residual network-based classification system for thyroid cancer computed tomography (ct) images | |
| CN116797554A (zh) | 图像处理方法以及装置 | |
| Li et al. | A dense connection encoding–decoding convolutional neural network structure for semantic segmentation of thymoma | |
| CN114581698A (zh) | 一种基于空间交叉注意力机制特征融合的目标分类方法 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| EP4167184A1 (en) | Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection | |
| CN115132275B (zh) | 基于端到端三维卷积神经网络预测egfr基因突变状态方法 | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| CN114708973B (zh) | 一种用于对人体健康进行评估的设备和存储介质 | |
| CN115148365B (zh) | 用于预测中枢神经系统生殖细胞肿瘤预后的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |