CN113269783A - 一种基于三维注意力机制的肺结节分割方法及装置 - Google Patents

一种基于三维注意力机制的肺结节分割方法及装置 Download PDF

Info

Publication number
CN113269783A
CN113269783A CN202110482170.8A CN202110482170A CN113269783A CN 113269783 A CN113269783 A CN 113269783A CN 202110482170 A CN202110482170 A CN 202110482170A CN 113269783 A CN113269783 A CN 113269783A
Authority
CN
China
Prior art keywords
attention
segmentation
model
attention mechanism
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110482170.8A
Other languages
English (en)
Inventor
杜强
陈相儒
郭雨晨
聂方兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xbentury Network Technology Co ltd
Original Assignee
Beijing Xbentury Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xbentury Network Technology Co ltd filed Critical Beijing Xbentury Network Technology Co ltd
Priority to CN202110482170.8A priority Critical patent/CN113269783A/zh
Publication of CN113269783A publication Critical patent/CN113269783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于三维注意力机制的肺结节分割方法及装置，所述方法包括：对输入的图像数据集进行图像归一化和图像增强处理；将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型；将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果；将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。本发明能够更加注意到小结节的部分，使得分割更加精准。

Description

一种基于三维注意力机制的肺结节分割方法及装置
技术领域
本发明涉及医学图像处理技术领域，尤其是涉及一种基于三维注意力机制的肺结节分割方法及装置。
背景技术
在低剂量CT诊断识别中，肺部病变的区域测量一直是一个困扰影像科医生很久的问题，目前常用的计算机学方法有区域增长方法，即人工选定一个区域后向周围像素进行搜索得到分割结果，这种方法受限于人工交互的过程，如果没有人工选择相应的区域，则无法进行相应的分割结果提取，而目前医学图像处理领域汇总较为通用的一种分割方式为使用深度神经网络U-net以及其变体结构，如nnUnet等网络进行处理，使得神经网络能够自动学习到医生对病灶的分割需求，从而达到辅助诊断的效果。
目前所使用的2D分割网络2D-Unet能够在单张图像上较好地拟合出病灶区域，但是由于血管和病灶的相似性，2D-Unet分割网络较为容易将血管分割成病灶区域，同时，由于3D分割网络3D-Unet易于将小结节分割遗漏，导致分割错误。因此本发明提出一种，3D注意力机制，使得网络权重能够对每一个维度上的细节信息进行像素上的偏重，从而实现分割效果的提升，目前主流的注意力机制方式有SE-Net，SK-Net等机制，但是在3D图像中，由于图像的显存占用较大，3D较2D增加一个维度，计算量同时也成倍上升，因此，目前流行的注意力机制并不适合当前的任务，从而本发明提出了3D注意力机制，能够在有限的显存空间中，赋予模型对小目标的注意力，提升模型性能。
发明内容
本发明的目的在于提供一种基于三维注意力机制的肺结节分割方法及装置，旨在解决上述问题。
本发明提供一种基于三维注意力机制的肺结节分割方法，包括：
数据处理：对输入的图像数据集进行图像归一化和图像增强处理；
模型构建：将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型；
模型训练：将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果；
分割结果后处理：将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。
本发明提供一种基于三维注意力机制的肺结节分割装置，包括：
数据处理模块：用于对输入的图像数据集进行图像归一化和图像增强处理；
模型构建模块：用于将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型；
模型训练模块：用于将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果；
分割结果后处理模块：用于将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。
本发明实施例还提供一种基于三维注意力机制的肺结节分割设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于三维注意力机制的肺结节分割方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于三维注意力机制的肺结节分割方法的步骤。
本发明实施例提出了一种基于三维注意力机制的肺结节分割方法用于肺结节数据的分割，对比目前的分割方法，采用本发明实施例能够更加注意到小结节的部分，使得分割更加精准。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的基于三维注意力机制的肺结节分割方法示意图；
图2是本发明实施例的三维注意力机制算法流程图；
图3是本发明实施例的3D Attention Wnet模型流程示意图；
图4是本发明实施例的基于三维注意力机制的肺结节分割装置示意图；
图5是本发明实施例的基于三维注意力机制的肺结节分割设备示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
方法实施例
本发明实施例所使用的图像数据均来自LIDC-IDRI数据集，LIDC-IDRI是由美国国家癌症研究所(National Cancer Institute)发起收集的，目的是为了研究高危人群早期癌症检测。训练数据集包含1086个结节，从该数据集中可以取得1086个大小为16x64x64的3D图块，原图像格式为dicom格式，通过窗宽窗位调整后得到输入数据。
根据本发明实施例，提供了一种基于三维注意力机制的肺结节分割方法，图1是本发明实施例的基于三维注意力机制的肺结节分割方法示意图，如图1所示，根据本发明实施例的基于三维注意力机制的肺结节分割方法具体包括：
S101，对输入的图像数据集进行图像归一化和图像增强处理。
具体的，所述对输入的图像数据集进行图像归一化和图像增强处理的具体方法为：设置窗宽窗位值，通过所述窗宽窗位值调整DICOM图像值，对图像进行归一化，如公式1所示，得到归一化的图像：
Figure BDA0003048873300000051
其中，xc,i,j表示一张图片第c个通道中第i行第j列的像素值，c＝{1}。
S102，将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型。
具体的，3D注意力机制算法流程图如图2所示，具体过程为：输入的图像块在三个维度x，y，z上分别进行求和后通过归一化指数函数softmax函数，即在三个维度上对每一维度的像素进行权重计算，然后分别对两个维度的权重结果做点积运算，结果用于和第三个维度每一个截面进行点乘，得到3个维度上每个像素的权重，将3个维度的结果与原特征图进行求和，得到带有注意力的输出结果，用于所述3D Attention Wnet模型的卷积操作。
DenseNet是一种密集连接的分类神经网络，其思想为通过第一层与后续每一层之间都进行concat的方式，使得特征图可以进行复用，以及使得不同感受野下的特征图融合，从而能够在分类任务中注意到更局部的或更全局的特征，得到融合分类结果。
S103，将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果。
具体的，预先设置的训练参数具体包括初始学习率及训练代数：
进行模型训练之前预先设置一个初始学习率和训练代数epoch，并在进行模型训练时根据公式1对学习率进行更新：
Figure BDA0003048873300000061
其中，lr为学习率，e为当前的epoch数，n为需要进行学习率更新的epoch总数；
使用的优化器为Adam优化器，使用的损失函数为二元交叉熵损失函数。
本发明实施例利用Dense连接的机制，对MultiScale(多尺度)的分类网络进行改进得到密集连接的类U-net结构的分割神经网络，并在首次下采样层以及最后一次下采样层加入3D Attention机制，实现3D Attention在分割上模型上的集成。
本发明实施例将此模型取名为3D Attention Wnet，其过程如图3所示，算法运行具体流程如下：首先，输入的图像块通过下采样得到原图像块，2x采样率的下采样图像块，4x采样率的图像块，以及8x采样率的图像块，这些图像块，将通过3D attention模块，后进行密集连接的卷积操作，在本发明实施例中，3D卷积的层数(横向卷积次数)以及不同尺度数(图2中纵向下采样次数)可以根据数据数量以及数据图像块的大小进行调整，在本发明中，取得的图像维度大小为16*64*64，本发明中模型下采样次数为4次，横向层数为7层。
S104，将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。
具体的，将输出的分割结果求平均值后再进行二值化的具体方法为：预设一个进行二值化的阈值，结果像素小于阈值的置为0，大于阈值的置为1。
采用本发明实施例，对比目前的分割方法，能够更加注意到小结节的部分，使得分割更加精准。
装置实施例一
根据本发明实施例，提供了一种基于三维注意力机制的肺结节分割方法，图4是本发明实施例的基于三维注意力机制的肺结节分割装置示意图，如图4所示，根据本发明实施例的基于三维注意力机制的肺结节分割装置具体包括：
数据处理模块40：用于对输入的图像数据集进行图像归一化和图像增强处理。
数据处理模块40具体用于：
通过预先设置的窗宽窗位值调整DICOM图像值，对图像进行归一化，如公式1所示，得到归一化的图像：
Figure BDA0003048873300000071
其中，xc,i,j表示一张图片第c个通道中第i行第j列的像素值，c＝{1}.
模型构建模块42：用于将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D AttentionWnet模型。
模型训练模块44：用于将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果。
模型训练模块44具体用于：
基于预先设置的训练参数通过3D Attention Wnet模型对处理后的图像数据集进行结节分割，所述预先设置的训练参数包括初始学习率和一个训练代数epoch，训练过程中随着训练代数epoch的增加学习率会进行更新，如公式1所示：
Figure BDA0003048873300000081
其中，lr为学习率，e为当前的epoch数，n为需要进行学习率更新的epoch总数；
进行模型训练时使用的优化器为Adam优化器，使用的损失函数为二元交叉熵损失函数
分割结果后处理模块46：用于将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。
本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
装置实施例二
本发明实施例提供一种基于三维注意力机制的肺结节分割设备，如图5所示，包括：存储器50、处理器52及存储在所述存储器50上并可在所述处理器52上运行的计算机程序，所述计算机程序被所述处理器52执行时实现如下方法步骤：
S101，对输入的图像数据集进行图像归一化和图像增强处理。
具体的，所述对输入的图像数据集进行图像归一化和图像增强处理的具体方法为：设置窗宽窗位值，通过所述窗宽窗位值调整DICOM图像值，对图像进行归一化，如公式1所示，得到归一化的图像：
Figure BDA0003048873300000082
其中，xc,i,j表示一张图片第c个通道中第i行第j列的像素值，c＝{1}。
S102，将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型。
具体的，3D注意力机制算法流程图如图2所示，具体过程为：输入的图像块在三个维度x，y，z上分别进行求和后通过归一化指数函数softmax函数，即在三个维度上对每一维度的像素进行权重计算，然后分别对两个维度的权重结果做点积运算，结果用于和第三个维度每一个截面进行点乘，得到3个维度上每个像素的权重，将3个维度的结果与原特征图进行求和，得到带有注意力的输出结果，用于所述3D Attention Wnet模型的卷积操作。
DenseNet是一种密集连接的分类神经网络，其思想为通过第一层与后续每一层之间都进行concat的方式，使得特征图可以进行复用，以及使得不同感受野下的特征图融合，从而能够在分类任务中注意到更局部的或更全局的特征，得到融合分类结果。
S103，将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果。
具体的，预先设置的训练参数具体包括初始学习率及训练代数：
进行模型训练之前预先设置一个初始学习率和训练代数epoch，并在进行模型训练时根据公式1对学习率进行更新：
Figure BDA0003048873300000091
其中，lr为学习率，e为当前的epoch数，n为需要进行学习率更新的epoch总数；
使用的优化器为Adam优化器，使用的损失函数为二元交叉熵损失函数。
本发明实施例利用Dense连接的机制，对MultiScale(多尺度)的分类网络进行改进得到密集连接的类U-net结构的分割神经网络，并在首次下采样层以及最后一次下采样层加入3D Attention机制，实现3D Attention在分割上模型上的集成。
本发明将此模型取名为3D Attention Wnet，其过程如图3所示，算法运行具体流程如下：首先，输入的图像块通过下采样得到原图像块，2x采样率的下采样图像块，4x采样率的图像块，以及8x采样率的图像块，这些图像块，将通过3D attention模块，后进行密集连接的卷积操作，在本发明实施例中，3D卷积的层数(横向卷积次数)以及不同尺度数(图2中纵向下采样次数)可以根据数据数量以及数据图像块的大小进行调整，在本发明中，取得的图像维度大小为16*64*64，本发明中模型下采样次数为4次，横向层数为7层。
S104，将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。
具体的，将输出的分割结果求平均值后再进行二值化的具体方法为：预设一个进行二值化的阈值，结果像素小于阈值的置为0，大于阈值的置为1。
装置实施例三
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器52执行时实现如下方法步骤：
S101，对输入的图像数据集进行图像归一化和图像增强处理。
具体的，所述对输入的图像数据集进行图像归一化和图像增强处理的具体方法为：设置窗宽窗位值，通过所述窗宽窗位值调整DICOM图像值，对图像进行归一化，如公式1所示，得到归一化的图像：
Figure BDA0003048873300000101
其中，xc,i,j表示一张图片第c个通道中第i行第j列的像素值，c＝{1}。
S102，将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型。
具体的，3D注意力机制算法流程图如图2所示，具体过程为：输入的图像块在三个维度x，y，z上分别进行求和后通过归一化指数函数softmax函数，即在三个维度上对每一维度的像素进行权重计算，然后分别对两个维度的权重结果做点积运算，结果用于和第三个维度每一个截面进行点乘，得到3个维度上每个像素的权重，将3个维度的结果与原特征图进行求和，得到带有注意力的输出结果，用于所述3D Attention Wnet模型的卷积操作。
DenseNet是一种密集连接的分类神经网络，其思想为通过第一层与后续每一层之间都进行concat的方式，使得特征图可以进行复用，以及使得不同感受野下的特征图融合，从而能够在分类任务中注意到更局部的或更全局的特征，得到融合分类结果。
S103，将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果。
具体的，预先设置的训练参数具体包括初始学习率及训练代数：
进行模型训练之前预先设置一个初始学习率和训练代数epoch，并在进行模型训练时根据公式1对学习率进行更新：
Figure BDA0003048873300000111
其中，lr为学习率，e为当前的epoch数，n为需要进行学习率更新的epoch总数；
使用的优化器为Adam优化器，使用的损失函数为二元交叉熵损失函数。
本发明实施例利用Dense连接的机制，对MultiScale(多尺度)的分类网络进行改进得到密集连接的类U-net结构的分割神经网络，并在首次下采样层以及最后一次下采样层加入3D Attention机制，实现3D Attention在分割上模型上的集成。
本发明将此模型取名为3D Attention Wnet，其过程如图3所示，算法运行具体流程如下：首先，输入的图像块通过下采样得到原图像块，2x采样率的下采样图像块，4x采样率的图像块，以及8x采样率的图像块，这些图像块，将通过3D attention模块，后进行密集连接的卷积操作，在本发明实施例中，3D卷积的层数(横向卷积次数)以及不同尺度数(图2中纵向下采样次数)可以根据数据数量以及数据图像块的大小进行调整，在本发明中，取得的图像维度大小为16*64*64，本发明中模型下采样次数为4次，横向层数为7层。
S104，将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。
具体的，将输出的分割结果求平均值后再进行二值化的具体方法为：预设一个进行二值化的阈值，结果像素小于阈值的置为0，大于阈值的置为1。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于三维注意力机制的肺结节分割方法，其特征在于，包括：
数据处理：对输入的图像数据集进行图像归一化和图像增强处理；
模型构建：将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型；
模型训练：将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果；
分割结果后处理：将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。
2.根据权利要求1所述的一种基于三维注意力机制的肺结节分割方法，其特征在于，所述对输入的图像数据集进行图像归一化和图像增强处理的具体方法为：设置窗宽窗位值，通过所述窗宽窗位值调整DICOM图像值，对图像进行归一化，如公式1所示，得到归一化的图像：
Figure FDA0003048873290000011
其中，xc,i,j表示一张图片第c个通道中第i行第j列的像素值，c＝{1}。
3.根据权利要求1所述的一种基于三维注意力机制的肺结节分割方法，其特征在于，所述3D注意力机制算法的具体过程为：输入的图像块在三个维度x，y，z上分别进行求和后通过归一化指数函数softmax函数，即在三个维度上对每一维度的像素进行权重计算，然后分别对两个维度的权重结果做点积运算，结果用于和第三个维度每一个截面进行点乘，得到3个维度上每个像素的权重，将3个维度的结果与原特征图进行求和，得到带有注意力的输出结果，用于所述3D Attention Wnet模型的卷积操作。
4.根据权利要求1所述的一种基于三维注意力机制的肺结节分割方法，其特征在于，所述预先设置的训练参数具体包括初始学习率及训练代数；
所述方法进一步包括：
进行模型训练之前预先设置一个初始学习率和训练代数epoch，并在进行模型训练时根据公式1对学习率进行更新：
Figure FDA0003048873290000021
其中，lr为学习率，e为当前的epoch数，n为需要进行学习率更新的epoch总数；
使用的优化器为Adam优化器，使用的损失函数为二元交叉熵损失函数。
5.根据权利要求1所述的一种基于三维注意力机制的肺结节分割方法，其特征在于，所述将输出的分割结果求平均值后再进行二值化的具体方法为：预设一个进行二值化的阈值，结果像素小于阈值的置为0，大于阈值的置为1。
6.一种基于三维注意力机制的肺结节分割装置，其特征在于，包括：
数据处理模块：用于对输入的图像数据集进行图像归一化和图像增强处理；
模型构建模块：用于将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型；
模型训练模块：用于将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果；
分割结果后处理模块：用于将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。
7.根据权利要求6所述的一种基于三维注意力机制的肺结节分割装置，其特征在于，所述数据处理模块具体用于：
通过预先设置的窗宽窗位值调整DICOM图像值，对图像进行归一化，如公式1所示，得到归一化的图像：
Figure FDA0003048873290000031
其中，xc,i,j表示一张图片第c个通道中第i行第j列的像素值，c＝{1}。
8.根据权利要求6所述的一种基于三维注意力机制的肺结节分割装置，其特征在于，所述模型训练模块具体用于：
基于预先设置的训练参数通过3D Attention Wnet模型对处理后的图像数据集进行结节分割，所述预先设置的训练参数包括初始学习率和一个训练代数epoch，训练过程中随着训练代数epoch的增加学习率会进行更新，如公式1所示：
Figure FDA0003048873290000032
其中，lr为学习率，e为当前的epoch数，n为需要进行学习率更新的epoch总数；
进行模型训练时使用的优化器为Adam优化器，使用的损失函数为二元交叉熵损失函数。
9.一种基于三维注意力机制的肺结节分割设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的肺结节分割方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至5中任一项所述的肺结节分割方法的步骤。
CN202110482170.8A 2021-04-30 2021-04-30 一种基于三维注意力机制的肺结节分割方法及装置 Pending CN113269783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110482170.8A CN113269783A (zh) 2021-04-30 2021-04-30 一种基于三维注意力机制的肺结节分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110482170.8A CN113269783A (zh) 2021-04-30 2021-04-30 一种基于三维注意力机制的肺结节分割方法及装置

Publications (1)

Publication Number Publication Date
CN113269783A true CN113269783A (zh) 2021-08-17

Family

ID=77229853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110482170.8A Pending CN113269783A (zh) 2021-04-30 2021-04-30 一种基于三维注意力机制的肺结节分割方法及装置

Country Status (1)

Country Link
CN (1) CN113269783A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004836A (zh) * 2022-01-04 2022-02-01 中科曙光南京研究院有限公司 一种基于深度学习的自适应生物医学影像分割方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
US20190303636A1 (en) * 2018-03-28 2019-10-03 Datalogic IP Tech, S.r.l. Artificial intelligence-based machine readable symbol reader
CN110751636A (zh) * 2019-10-12 2020-02-04 天津工业大学 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN111047613A (zh) * 2019-12-30 2020-04-21 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法
CN111127484A (zh) * 2019-12-25 2020-05-08 北京小白世纪网络科技有限公司 基于深度学习神经网络的肝脏ct图像分割方法及装置
CN111583246A (zh) * 2020-05-11 2020-08-25 北京小白世纪网络科技有限公司 利用ct切片图像对肝脏肿瘤进行分类的方法
CN111667489A (zh) * 2020-04-30 2020-09-15 华东师范大学 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法
CN111882548A (zh) * 2020-07-31 2020-11-03 北京小白世纪网络科技有限公司 基于深度学习的病理图像中细胞计数方法及装置
CN111985551A (zh) * 2020-08-14 2020-11-24 湖南理工学院 一种基于多重注意力网络的立体匹配算法
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190303636A1 (en) * 2018-03-28 2019-10-03 Datalogic IP Tech, S.r.l. Artificial intelligence-based machine readable symbol reader
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN110751636A (zh) * 2019-10-12 2020-02-04 天津工业大学 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN111127484A (zh) * 2019-12-25 2020-05-08 北京小白世纪网络科技有限公司 基于深度学习神经网络的肝脏ct图像分割方法及装置
CN111047613A (zh) * 2019-12-30 2020-04-21 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法
CN111667489A (zh) * 2020-04-30 2020-09-15 华东师范大学 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
CN111583246A (zh) * 2020-05-11 2020-08-25 北京小白世纪网络科技有限公司 利用ct切片图像对肝脏肿瘤进行分类的方法
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法
CN111882548A (zh) * 2020-07-31 2020-11-03 北京小白世纪网络科技有限公司 基于深度学习的病理图像中细胞计数方法及装置
CN111985551A (zh) * 2020-08-14 2020-11-24 湖南理工学院 一种基于多重注意力网络的立体匹配算法
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARTIN KOLARIK 等: ""3D Dense-U-Net for MRI Brain Tissue Segmentation"", 《2018 41ST INTERNATIONAL CONFERENCE ON TELECOMMUNICATIONS AND SIGNAL PROCESSING》 *
OZAN OKTAY 等: ""Attention U-Net：Learning Where to Look for the Pancreas"", 《ARXIV:1804.03999V3》 *
SANGHYUN WOO 等: ""CBAM: Convolutional Block Attention Modu"", 《HTTPS://ARXIV.ORG/ABS/1807.06521》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004836A (zh) * 2022-01-04 2022-02-01 中科曙光南京研究院有限公司 一种基于深度学习的自适应生物医学影像分割方法
CN114004836B (zh) * 2022-01-04 2022-04-01 中科曙光南京研究院有限公司 一种基于深度学习的自适应生物医学影像分割方法

Similar Documents

Publication Publication Date Title
CN110321920B (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
Bi et al. Automatic liver lesion detection using cascaded deep residual networks
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
EP3992851A1 (en) Image classification method, apparatus and device, storage medium, and medical electronic device
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN111429473B (zh) 基于多尺度特征融合的胸片肺野分割模型建立及分割方法
Gridach PyDiNet: Pyramid dilated network for medical image segmentation
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN115049603B (zh) 一种基于小样本学习的肠息肉分割方法及系统
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN115661459A (zh) 一种使用差异信息的2D mean teacher模型
CN113269783A (zh) 一种基于三维注意力机制的肺结节分割方法及装置
Chatterjee et al. A survey on techniques used in medical imaging processing
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN116524178A (zh) 基于半监督的mri图像组织分割方法及成像方法
CN115798709A (zh) 基于多任务图同构网络的阿尔兹海默病分类装置及方法
CN106709921B (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法
CN114693698B (zh) 一种基于神经网络的计算机辅助肺气道分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination