CN112150429A - 一种注意力机制引导的肾ct图像分割方法 - Google Patents
一种注意力机制引导的肾ct图像分割方法 Download PDFInfo
- Publication number
- CN112150429A CN112150429A CN202010986326.1A CN202010986326A CN112150429A CN 112150429 A CN112150429 A CN 112150429A CN 202010986326 A CN202010986326 A CN 202010986326A CN 112150429 A CN112150429 A CN 112150429A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- attention
- attention mechanism
- renal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000007246 mechanism Effects 0.000 title claims abstract description 32
- 238000003709 image segmentation Methods 0.000 title claims abstract description 18
- 210000003734 kidney Anatomy 0.000 title abstract description 16
- 208000008839 Kidney Neoplasms Diseases 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 230000003321 amplification Effects 0.000 claims abstract description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 3
- 238000013434 data augmentation Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000002411 adverse Effects 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000002759 z-score normalization Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 206010028980 Neoplasm Diseases 0.000 description 9
- 201000011510 cancer Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 206010064571 Gene mutation Diseases 0.000 description 2
- 206010038389 Renal cancer Diseases 0.000 description 2
- 208000008383 Wilms tumor Diseases 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000022013 kidney Wilms tumor Diseases 0.000 description 2
- 201000010982 kidney cancer Diseases 0.000 description 2
- 201000008026 nephroblastoma Diseases 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001164374 Calyx Species 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 208000006265 Renal cell carcinoma Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000000244 kidney pelvis Anatomy 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种注意力机制引导的肾CT图像分割方法，涉及深度学习领域；本发明首先对CT图像进行数据预处理和数据增广的操作，经过这些操作后，被处理过的图像会进入它们的编码器，编码器其中会包括多层下采样层以提取图像不同尺度的特征，然后从编码器输出的特征图谱会进入注意力机制模块，融合全局和局部的信息，最后，进入解码器，输出图像的分割结果；本专利能够有效解决手动分割肾肿瘤会耗费大量人力资源、已有方法未充分利用图像的局部和全局信息等问题，提高了分割精度，因此具有较高的应用价值和临床治疗的应用前景。
Description
技术领域
本发明涉及深度学习领域，尤其涉及一种注意力机制引导的肾CT图像分割方法。
背景技术
肾肿瘤是泌尿系统较常见的肿瘤之一，多为恶性。临床中常见的肾肿瘤包括源自肾实质的肾细胞癌、肾母细胞瘤以及发生于肾盂肾盏的移行细胞乳头状肿瘤。成人恶性肿瘤中肾肿瘤占2％～3％，而肾母细胞瘤是婴幼儿中最常见的实体恶性肿瘤，发病率占婴幼儿恶性肿瘤的20％左右。除此之外，肾癌是男性中第9位最常发生的癌症，也是女性中第14位最常见的癌症。2018年新发病例超过40万。
在现代医学影像分析领域中，对整个肾脏中肿瘤及其子结构进行准确建模、定位和分割是肾癌检测的重要环节，在临床上有着广阔的应用前景。然而，整个肾脏CT图像的分割和配准是具有挑战性的，且现今仍然完全依赖于手动分割，不仅会耗费大量人力资源，还容易出现不可避免的错误，无法保证精度的稳定性。自动全肾脏肿瘤分割的挑战在于，每一个患者的肿瘤大小不尽相同，其子结构占整个图像的比重又相对而言比较少。
影像基因组学能够通过AI提取大量肿瘤影像特征，同时将影像特征与肿瘤的潜在基因突变状态相关联，实现对肿瘤基因突变状态的治疗前预测，同时为临床靶向治疗提供依据。尽管目前AI在肾肿瘤的临床研究中已经取得了一定的进展，但肾肿瘤影像在AI领域还未受到应有的重视，其原因如下：首先，相对于其他发病率更高及预后更差的肿瘤，如肺癌、肝癌等，肾肿瘤的临床研究相对少见，从而导致肾肿瘤的AI影像研究也相对较少；其次，目前肾肿瘤影像所面临的临床问题未受到足够重视，因此缺乏对利用AI解决肾肿瘤影像相关问题的深入探索。
为此，本发明提出一个新的基于注意力机制引导的肾CT图像分割网络，用以充分利用图像中的全局和局部信息来引导一个健壮的肾和肾肿瘤分割。
发明内容
本发明所要解决的技术问题是针对背景技术中肾肿瘤影像在AI领域还未受到应有的重视的问题提供一种注意力机制引导的肾CT图像分割方法。
本发明为解决上述技术问题采用以下技术方案：
一种注意力机制引导的肾CT图像分割方法，包含以下步骤：
步骤1、输入CT图像；
步骤2、数据预处理和数据增广；
步骤3、经过处理的图像输入编码器；
步骤4、经过编码的图像进入注意力机制模块进行处理；
步骤5、经过处理的图像进入解码器；
步骤6、输出经过解码的图像。
作为本发明一种注意力机制引导的肾CT图像分割方法的进一步优选方案，所述步骤2数据预处理和数据增广，具体包含以下步骤：
步骤2.1：数据预处理：肾肿瘤数据中的类别信息有三种：0为背景，1为肾区域，2为肾肿瘤区域；图像的形状为num_slices，num_slices对应轴向视图，切片厚度范围为1mm至5mm；首先，为了消除可能来自某些金属物的异常强度值，按照min＝-79和max＝304为阈值对图像强度值进行剪切，即小于-79的强度值都修正为-79，大于304的强度值都修正为304；然后，通过数据归一化的方式将预处理的图像强度值限定在一定的范围内，从而消除某些异常样本数据对训练造成的不良影响；采用的方法为z-score归一化，μ和σ分别为全局样本均值和全局标准差，N为所有样本中体素的总数，xi为每个样本中的每个体素值，x为原始体素值，z为归一化后的体素值，μ＝101，σ＝76.9；
对数据进行重采样，将数据集中图像的spacing调整一致，调用的方法为scipy.ndimage中的affine_transform函数，目标体素空间为(3.22，1.62，1.62)；
步骤2.2：数据增广，数据增强包括随机旋转、随机缩放、随机伽马校正增强和随机镜像翻转；缩放系数的范围为[0，85，1.25]，伽马校正的γ范围为[0.7，1，5]；将实验的参数设置为对每一个样本进行数据增广变换的操作的概率为0.1；通过在数据增广过后的数据集上进行训练，模型可以在测试样本上得到更好的分割结果。
作为本发明一种注意力机制引导的肾CT图像分割方法的进一步优选方案，所述步骤3经过处理的图像输入编码器，具体步骤如下：
步骤3.1：被处理过的图像进入编码器；
步骤3.2：编码器中包含多层下采样层，提取图像不同尺度的特征，捕捉更加精确的信息；
步骤3.3：从编码器输出的特征图谱进入注意力机制模块。
作为本发明一种注意力机制引导的肾CT图像分割方法的进一步优选方案，所述注意力机制模块是基于解耦合注意力模块设计的，包含两个部分：上层为全局注意力检测器，下层为显著注意力检测器；本模块将编码器提取的特征图谱作为输入，输出一个新的特征图谱；
所述全局注意力检测器，用于引导网络关注所要识别的物体所在的位置，包含Dropout层，1×1×1卷积层，非线性激活函数，空间归一化；
所述显著注意力检测器，用于发掘图像中具有代表性的特征，包含1×1×1卷积层。
作为本发明一种注意力机制引导的肾CT图像分割方法的进一步优选方案，所述步骤4经过编码的图像进入注意力机制模块进行处理，具体包含以下步骤：
步骤4.1：利用全局注意力检测器得到所要识别物体所在位置的特征的图谱；
步骤4.2：利用显著注意力检测器得到图像中具有代表性特征图谱；
步骤4.3：通过哈达码积计算将得到的两个特征图谱融合在一起；
步骤4.4：得到最终的注意力引导的特征图谱。
作为本发明一种注意力机制引导的肾CT图像分割方法的进一步优选方案，所述解码器用于将上下文的信息传播到更高的分辨率层，并且学习高级的语义信息，并输出图像的分割结果。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明采用了精巧的数据预处理和数据增广方法处理图像并增广数据集，使训练出来的网络有更强的健壮性和泛化性；
2、本发明提出了一种新的基于注意力机制引导的全卷积神经网络，用以学习图像的全局和局部特征，进行肾CT图像分割；
3、本专利能够有效解决手动分割肾肿瘤会耗费大量人力资源、已有方法未充分图像的局部和全局信息等问题，提高了分割精度，因此具有较高的应用价值和临床治疗的应用前景。
附图说明
图1是本发明的系统流程图；
图2是本发明的注意力机制模块流程图；
图3是本发明的肾CT图像分割结果对比图；
图4是本发明的分割精度表。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种注意力机制引导的肾CT图像分割方法，包含以下步骤：
步骤1、输入CT图像；
步骤2、数据预处理和数据增广；
步骤3、经过处理的图像输入编码器；
步骤4、经过编码的图像进入注意力机制模块进行处理；
步骤5、经过处理的图像进入解码器；
步骤6、输出经过解码的图像。
如图2所示，所述步骤2数据预处理和数据增广，具体包含以下步骤：
步骤2.1：数据预处理：肾肿瘤数据中的类别信息有三种：0为背景，1为肾区域，2为肾肿瘤区域。图像的形状为num_slices，num_slices对应轴向视图，切片厚度范围为1mm至5mm。首先，为了消除可能来自某些金属物的异常强度值，按照min＝-79和max＝304为阈值对图像强度值进行剪切，即小于-79的强度值都修正为-79，大于304的强度值都修正为304。然后，通过数据归一化的方式将预处理的图像强度值限定在一定的范围内，从而消除某些异常样本数据对训练造成的不良影响。采用的方法为z-score归一化，μ和σ分别为全局样本均值和全局标准差，N为所有样本中体素的总数，xi为每个样本中的每个体素值，x为原始体素值，z为归一化后的体素值。本实验中，μ＝101，σ＝76.9。
最后，由于采集数据的设备差异等原因，数据集中医学图像切片间的距离，即spacing并不是一致的，这对于卷积网络是不利的，因为卷积网络不能够在相同的感受野中对不同体素空间的数据进行很好的学习，因此需要对数据进行重采样，将数据集中图像的spacing调整一致。调用的方法为scipy.ndimage中的affine_transform函数，目标体素空间为(3.22，1.62，1.62)。
步骤2.2：数据增广，由于手工注释医学图像十分繁琐，医学图像的数据集大小往往十分有限。因此，为了防止过少的样本数据导致模型训练过拟合，使用数据增强来扩充数据集可以提高模型的泛化性。数据增强包括随机旋转、随机缩放、随机伽马校正增强和随机镜像翻转。缩放系数的范围为[0，85，1.25]，伽马校正的γ范围为[0.7，1，5]。而且为了平衡数据增广操作带来的效果和计算开销，将实验的参数设置为对每一个样本进行数据增广变换的操作的概率为0.1。通过在数据增广过后的数据集上进行训练，模型可以在测试样本上得到更好的分割结果。
所述步骤3经过处理的图像输入编码器，具体步骤如下：
步骤3.1：被处理过的图像进入编码器；
步骤3.2：编码器中包含多层下采样层，提取图像不同尺度的特征，捕捉更加精确的信息；
步骤3.3：从编码器输出的特征图谱进入注意力机制模块。
如图3所示，所述注意力机制模块是基于解耦合注意力模块设计的，解耦合注意力模块最初被应用于图像分类和弱监督的自然图像语义分割任务，相对于其他方法获得了不错的效果提升。本模块包含两个部分：上层为全局注意力检测器，下层为显著注意力检测器；本模块将编码器提取的特征图谱作为输入，输出一个新的特征图谱；
所述全局注意力检测器，用于引导网络关注所要识别的物体所在的位置，包含Dropout层，1×1×1卷积层，非线性激活函数，空间归一化；
所述显著注意力检测器，用于发掘图像中具有代表性的特征，包含1×1×1卷积层。
所述步骤4经过编码的图像进入注意力机制模块进行处理，具体包含以下步骤：
步骤4.1：利用全局注意力检测器得到所要识别物体所在位置的特征的图谱；
步骤4.2：利用显著注意力检测器得到图像中具有代表性特征图谱；
步骤4.3：通过哈达码积计算将得到的两个特征图谱融合在一起；
步骤4.4：得到最终的注意力引导的特征图谱。
所述解码器用于将上下文的信息传播到更高的分辨率层，并且学习高级的语义信息，并输出图像的分割结果。
采用Adam方法进行随机梯度下降，学习率为1×10-4，其他设定完全参照相关医学影像分割方法文献中提到的设置去训练整个网络。为了加速训练过程，选择随机剔除一些病人的样本，然后再完整地训练端到端的分割网络。
将本发明方法应用于医学图像领域旗舰会议MICCAI的KiTS19 Challenge竞赛提供的公开数据集上。数据集中包含了未配对的210个肾CT的3D图像，为了平衡训练的计算开销和效果，我们随机地删除了其中的一些病人的样本(10个)。数据集中的肾和肾肿瘤都已经被放射科医师做好了标记。在训练过程中，数据集被分成训练集(140个样本)验证集(40个样本)和测试集(20个样本)。其中
为了衡量分割结果与实际结果的差距，本发明采用Dice系数作为评价指标。Dice被用于衡量真实标记与分割结果之间重合的比例。Dice越高证明分割精度越高。
肾与肾肿瘤分割可视化对比结果如图4所示。从图中看出分割出来的肾基本和给定的目标差不多，肾肿瘤的效果虽然差一点，但是仍然能基本地覆盖目标，给临床诊断提供依据。
使用本方法进行分割的结果对比如表1所示。
表1
从表格中可以看出，本发明成功地提取了图像中全局和局部的特征来对肾和肾肿瘤进行分割。
最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种注意力机制引导的肾CT图像分割方法，其特征在于，包含以下步骤：
步骤1、输入CT图像；
步骤2、数据预处理和数据增广；
步骤3、经过处理的图像输入编码器；
步骤4、经过编码的图像进入注意力机制模块进行处理；
步骤5、经过处理的图像进入解码器；
步骤6、输出经过解码的图像。
2.根据权利要求1所述的一种注意力机制引导的肾CT图像分割方法，其特征在于：所述步骤2数据预处理和数据增广，具体包含以下步骤：
步骤2.1：数据预处理：肾肿瘤数据中的类别信息有三种：0为背景，1为肾区域，2为肾肿瘤区域；图像的形状为num_slices，num_slices对应轴向视图，切片厚度范围为1mm至5mm；首先，为了消除可能来自某些金属物的异常强度值，按照min＝-79和max＝304为阈值对图像强度值进行剪切，即小于-79的强度值都修正为-79，大于304的强度值都修正为304；然后，通过数据归一化的方式将预处理的图像强度值限定在一定的范围内，从而消除某些异常样本数据对训练造成的不良影响；采用的方法为z-score归一化，μ和σ分别为全局样本均值和全局标准差，N为所有样本中体素的总数，xi为每个样本中的每个体素值，x为原始体素值，z为归一化后的体素值；μ＝101，σ＝76.9；
对数据进行重采样，将数据集中图像的spacing调整一致，调用的方法为scipy.ndimage中的affine_transform函数，目标体素空间为(3.22，1.62，1.62)；
步骤2.2：数据增广，数据增强包括随机旋转、随机缩放、随机伽马校正增强和随机镜像翻转；缩放系数的范围为[0，85，1.25]，伽马校正的γ范围为[0.7，1，5]；将实验的参数设置为对每一个样本进行数据增广变换的操作的概率为0.1；通过在数据增广过后的数据集上进行训练，模型可在测试样本上得到更好的分割结果。
3.根据权利要求1所述的一种注意力机制引导的肾CT图像分割方法，其特征在于：所述步骤3经过处理的图像输入编码器，具体步骤如下：
步骤3.1：被处理过的图像进入编码器；
步骤3.2：编码器中包含多层下采样层，提取图像不同尺度的特征，捕捉更加精确的信息；
步骤3.3：从编码器输出的特征图谱进入注意力机制模块。
4.根据权利要求1所述的一种注意力机制引导的肾CT图像分割方法，其特征在于：所述注意力机制模块是基于解耦合注意力模块设计的，包含两个部分：上层为全局注意力检测器，下层为显著注意力检测器；本模块将编码器提取的特征图谱作为输入，输出一个新的特征图谱；
所述全局注意力检测器，用于引导网络关注所要识别的物体所在的位置，包含Dropout层，1×1×1卷积层，非线性激活函数，空间归一化；
所述显著注意力检测器，用于发掘图像中具有代表性的特征，包含1×1×1卷积层。
5.根据权利要求1所述的一种注意力机制引导的肾CT图像分割方法，其特征在于：所述步骤4经过编码的图像进入注意力机制模块进行处理，具体包含以下步骤：
步骤4.1：利用全局注意力检测器得到所要识别物体所在位置的特征的图谱；
步骤4.2：利用显著注意力检测器得到图像中具有代表性特征图谱；
步骤4.3：通过哈达码积计算将得到的两个特征图谱融合在一起；
步骤4.4：得到最终的注意力引导的特征图谱。
6.根据权利要求1所述的一种注意力机制引导的肾CT图像分割方法，其特征在于：所述解码器用于将上下文的信息传播到更高的分辨率层，并且学习高级的语义信息，并输出图像的分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010986326.1A CN112150429A (zh) | 2020-09-18 | 2020-09-18 | 一种注意力机制引导的肾ct图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010986326.1A CN112150429A (zh) | 2020-09-18 | 2020-09-18 | 一种注意力机制引导的肾ct图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112150429A true CN112150429A (zh) | 2020-12-29 |
Family
ID=73893278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010986326.1A Pending CN112150429A (zh) | 2020-09-18 | 2020-09-18 | 一种注意力机制引导的肾ct图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112150429A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112750530A (zh) * | 2021-01-05 | 2021-05-04 | 上海梅斯医药科技有限公司 | 一种模型的训练方法、终端设备和存储介质 |
| CN113139981A (zh) * | 2021-05-18 | 2021-07-20 | 哈尔滨理工大学 | 基于深度神经网络的dce-mri乳腺肿瘤图像分割方法 |
| CN113299385A (zh) * | 2021-04-30 | 2021-08-24 | 北京深睿博联科技有限责任公司 | 一种基于深度学习的胰腺囊性病变临床决策方法和系统 |
| CN113393521A (zh) * | 2021-05-19 | 2021-09-14 | 中国科学院声学研究所南海研究站 | 一种基于双语义注意力机制的高精度火焰定位方法及系统 |
| CN113674253A (zh) * | 2021-08-25 | 2021-11-19 | 浙江财经大学 | 基于U-Transformer的直肠癌CT影像自动分割方法 |
| CN117274184A (zh) * | 2023-09-19 | 2023-12-22 | 河北大学 | 一种针对肾癌PET-CT图像的预测ki-67表达方法 |
| CN117274184B (zh) * | 2023-09-19 | 2024-05-28 | 河北大学 | 一种针对肾癌PET-CT图像的预测ki-67表达方法 |
-
2020
- 2020-09-18 CN CN202010986326.1A patent/CN112150429A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112750530A (zh) * | 2021-01-05 | 2021-05-04 | 上海梅斯医药科技有限公司 | 一种模型的训练方法、终端设备和存储介质 |
| CN113299385A (zh) * | 2021-04-30 | 2021-08-24 | 北京深睿博联科技有限责任公司 | 一种基于深度学习的胰腺囊性病变临床决策方法和系统 |
| CN113299385B (zh) * | 2021-04-30 | 2024-03-08 | 北京深睿博联科技有限责任公司 | 一种基于深度学习的胰腺囊性病变临床决策方法和系统 |
| CN113139981A (zh) * | 2021-05-18 | 2021-07-20 | 哈尔滨理工大学 | 基于深度神经网络的dce-mri乳腺肿瘤图像分割方法 |
| CN113393521A (zh) * | 2021-05-19 | 2021-09-14 | 中国科学院声学研究所南海研究站 | 一种基于双语义注意力机制的高精度火焰定位方法及系统 |
| CN113674253A (zh) * | 2021-08-25 | 2021-11-19 | 浙江财经大学 | 基于U-Transformer的直肠癌CT影像自动分割方法 |
| CN117274184A (zh) * | 2023-09-19 | 2023-12-22 | 河北大学 | 一种针对肾癌PET-CT图像的预测ki-67表达方法 |
| CN117274184B (zh) * | 2023-09-19 | 2024-05-28 | 河北大学 | 一种针对肾癌PET-CT图像的预测ki-67表达方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150429A (zh) | 一种注意力机制引导的肾ct图像分割方法 | |
| Yoo et al. | Prostate cancer detection using deep convolutional neural networks | |
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| CN110310287B (zh) | 基于神经网络的危及器官自动勾画方法、设备和存储介质 | |
| CN112116605B (zh) | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 | |
| CN109523521B (zh) | 基于多切片ct图像的肺结节分类和病灶定位方法和系统 | |
| CN109191472A (zh) | 基于改进U-Net网络的胸腺细胞图像分割方法 | |
| CN111429473B (zh) | 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 | |
| CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| US11562491B2 (en) | Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
| CN113034505B (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| CN110689525A (zh) | 基于神经网络识别淋巴结的方法及装置 | |
| Zhang et al. | Design of automatic lung nodule detection system based on multi-scene deep learning framework | |
| CN113223004A (zh) | 一种基于深度学习的肝脏图像分割方法 | |
| Sadik et al. | Automated quantification of reference levels in liver and mediastinal blood pool for the Deauville therapy response classification using FDG‐PET/CT in Hodgkin and non‐Hodgkin lymphomas | |
| CN112927246A (zh) | 肺部轮廓分割、肿瘤免疫浸润分类系统及方法 | |
| Scheurer et al. | Semantic segmentation of histopathological slides for the classification of cutaneous lymphoma and eczema | |
| CN114581474A (zh) | 一种基于宫颈癌ct影像的临床靶区自动勾画方法 | |
| CN110706217A (zh) | 一种基于深度学习的肺部肿瘤自动勾画方法 | |
| CN113781387A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| Ayalew et al. | Deep learning based liver cancer segmentation from computed tomography images | |
| CN108154107B (zh) | 一种确定遥感图像归属的场景类别的方法 | |
| CN115496703A (zh) | 肺炎区域检测方法及系统 | |
| CN112819801A (zh) | 一种改进U-Net的肺结节分割方法 | |
| Jia et al. | Three-dimensional segmentation of hippocampus in brain MRI images based on 3CN-net |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |