CN112329871A - 一种基于自校正卷积与通道注意力机制的肺结节检测方法 - Google Patents
一种基于自校正卷积与通道注意力机制的肺结节检测方法 Download PDFInfo
- Publication number
- CN112329871A CN112329871A CN202011253196.7A CN202011253196A CN112329871A CN 112329871 A CN112329871 A CN 112329871A CN 202011253196 A CN202011253196 A CN 202011253196A CN 112329871 A CN112329871 A CN 112329871A
- Authority
- CN
- China
- Prior art keywords
- output
- eca
- group
- modules
- output characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自校正卷积与通道注意力机制的肺结节检测方法,该检测方法建立集成了u‑net型的编码器‑解码器网络的肺结节检测网络,编码器逐渐减少池化层的空间维度,解码器逐步修复物体的细节和空间维度,并在编码器和解码器之间建立跳跃连接,帮助解码器更好地修复目标的细节。损失函数的值由分类损失和回归损失两部分组成,解决了LUNA16数据集正例样本与负例样本的数量比失衡的问题。该检测方法可以对各种不同尺度、不同形态的肺结节均具有良好的识别效果,同时也可以准确识别出各种假阳性结节,提高了对医学图像肺结节的检测精度,可用于计算机辅助诊断系统,解决不同尺度、不同形态的肺结节识别困难的问题。
Description
技术领域
本发明属于医疗图像处理技术领域,具体是一种基于自校正卷积与通道注意力机制的肺结节检测方法。
背景技术
肺癌是我国常见的恶性肿瘤之一,死亡率高居所有恶性肿瘤之首。肺结节是肺癌的早期形态,因此使用低剂量计算机断层扫描(computed tomography,CT)技术尽早检测肺结节,能在很大程度上帮助发现早期肺癌。然而,由于CT是断层图像,通常一个病例的全肺CT包含200-500张图像。要从如此多图像中识别微小的肺部结节并分辨是良性病变还是恶性肿瘤或是其它的肺部病变,对影像诊断医师的体力及脑力都是巨大的挑战。因此为了减少医师的工作量并且提高肺结节诊断的效率,在临床工作中,开始使用一些计算机辅助诊断(computer aided detection,CAD)技术。
由于传统的计算机辅助诊断技术存在很多问题,如缺少统一的分割算法并且分割效果不够精准,结节检测结果假阳性高,对于微小结节容易漏检,无法进行自我学习。但是,基于深度学习的计算机辅助诊断技术,不仅可以提高读片的速度和准确度,而且可以进行自我学习,从而不断地优化读片的效果,因此基于深度学习的计算机辅助诊断技术现已被越来越多地应用于肺结节的诊断中。
由于临床标记的肺结节图像数据少,算机断层扫描(CT)影像中肺结节尺寸变化较大、尺寸小且不规则等特点,深度学习技术还存在一定的局限性,肺结节检测中存在的检测敏感度较低,且存在大量假阳性的问题都有待解决。
发明内容
本发明目的在于克服现有技术所存在的不足,提供了一种基于自校正卷积与通道注意力机制的肺结节检测方法,该检测方法对不同尺度、不同形态的肺结节均具有良好的识别效果,同时也可以准确识别出各种假阳性结节,同时,针对LUNA16数据集正负样本失衡问题,引入DR Loss作为本算法的分类损失函数,将分类问题转换为排序问题,从而平衡数据集中的正负样本。
本发明涉及到的基础原理:
1.SC Conv模块:SC Conv将一个标准卷积拆成四个小卷积进行特征提取,大幅的提升了输出特征的感受野,可做到仅考虑空域位置的信息,避免考虑不感兴趣的区域信息,同时还可以编码多尺度特征信息,增加了特征的信息提取能力,考虑到了通道间的信息和局部信息的增强。自校准卷积模块的优势在于空间上的每一个点都有附近区域的信息和通道上的交互信息,同时也避免了整个全局信息中无关区域的干扰。滤波器集合K的形状(C,C,kh,kw),将其均匀的拆分成四份。拆分后的滤波器集合称之为首先,将输入X均匀划分为{X1,X2},分别经过不同的处理操作;然后,将X1送入到第一分支(该分支为自矫正分支),将X2送入第二分支(该分支为常规卷积变换分支);最后,将处理后的特征拼接作为输出。在自矫正分支,对于输入X1依次对其进行均值下采样Down、卷积特征变换K2、双线性上采样UP,采样率设为r,然后再与输入相加通过sigmoid函数σ得到空域层面的注意力特征图,并将所得空域注意力图与经过卷积特征变换K3的X1进行融合。该过程可以描述为:
最后将前面所得特征Y’1采用K4进行特征变换Y1=F4(Y’1)=Y’1*K4得到该分支的输出。
2.ECA模块:ECA可以通过大小为k的快速一维卷积来有效地实现,有多个相邻位置参与一个通道的注意预测。ECA结构主要包含三个部分:首先,利用全局平均池化操作将输入各特征通道压缩成一个具有全局响应的实数,输出维度与输入特征图的数目相同,这一步骤被称为挤压操作,,将H×W×C的输入转换成1×1×C的输出;其次,自适应地判断卷积核大小k,然后执行1D卷积,后面跟着一个Sigmoid函数来学习通道注意力,实现激励操作;最后,将得到的特征权重值加权到输入的特征通道上,从而实现特征图的重标定,完成scale操作。内核大小k通过通道维数C确定:
式中:|t|odd表示最近的奇数t,γ=2,b=1。
3.DR Loss将分类问题转化为置信度排序问题,选取正负样本中最具代表性的样本来参与排序,以此解决不平衡问题。DR Loss分类损失函数定义为:式中:分别代表正样本和负样本的置信度;为了确保正样本和负样本能够分开,设置γ=0.5;为了平滑整个曲线,加入了逻辑斯谛回归损失(logistic Loss):L用于控制损失函数的平滑性,此处设置为6。
本发明解决所述技术问题的技术方案是,设计一种基于自校正卷积与通道注意力机制的肺结节检测方法,该检测方法包括如下步骤:
S1:对LUNA16数据集中的图像数据进行预处理,然后将经过预处理的图像数据集划分为训练集、验证集和测试集,比例设置为6:1:3,根据比例随机选择归入三个数据集中;
S2:建立集成自校正卷积模块与有效通道注意力模块的肺结节检测网络;
S3:利用训练集对S3中构建的肺结节检测网络进行训练,根据损失函数,训练检测网络模型的参数,得到训练好的检测网络模型;然后将验证集输入到训练好的检测网络模型,检验检测网络模型的性能;
S4:将测试集输入到S3中的训练好的检测网络模型中,得到肺结节位置检测结果。
与现有技术相比,本发明有益效果在于:本发明检测方法建立集成了u-net型的编码器-解码器网络的肺结节检测网络,编码器逐渐减少池化层的空间维度,解码器逐步修复物体的细节和空间维度,并在编码器和解码器之间建立跳跃连接,帮助解码器更好地修复目标的细节。损失函数的值由分类损失和回归损失两部分组成,解决了LUNA16数据集正例样本(真结节)与负例样本(假阳性结节)的数量比失衡的问题。本发明检测方法可以对各种不同尺度、不同形态的肺结节均具有良好的识别效果,同时也可以准确识别出各种假阳性结节,提高了对医学图像肺结节的检测精度,可用于计算机辅助诊断系统,解决不同尺度、不同形态的肺结节识别困难的问题。
附图说明
图1为本发明检测方法一种实施例的步骤流程图;
图2为本发明检测方法一种实施例的肺结节检测方法示意图;
图3为本发明检测方法一种实施例的ECA-SC模块结构示意图;
图4为本发明检测方法一种实施例的基于ECA-SC模块的肺结节检测网络结构示意图;
图5为采用本发明检测方法得到的同一个肺中的结节切片可视化结果示例(图中白色矩形框圈住的区域为检测出的肺结节)。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本实施例选用LUNA16(Lung Nodule Analysis 2016的简称)数据集,LUNA16数据集中的数据来源于一个更大的数据集LIDC-IDRI(Lung Image Database Consortium andImage Database Resource Initiative的简称)。LIDC-LDRI几乎包含了所有低剂量肺动脉CT的相关信息,包括多位医生对结节大小、位置、诊断结果、结节纹理、结节边缘等信息的标注。LUNA16数据集为将LIDC-IDRI数据集切片厚度大于3mm的CT去除,同时将切片层间距不一致以及缺失部分切片的CT也去除,最后产生的888张低剂量肺部CT图像的集合。LUNA16数据集中的图像给出了候选结节的病人序列号、中心坐标以及其对应的标签信息,其中共有1186个结节标签。
本发明提出一种基于自校正卷积与通道注意力机制的肺结节检测方法(简称检测方法),其流程图如图1所示,检测方法示意如图2所示,该检测方法包括以下步骤:
S1:对LUNA16数据集中的图像数据进行预处理,然后将经过预处理的图像数据集划分为训练集、验证集和测试集,比例设置为6:1:3,根据比例随机选择归入三个数据集中;所述预处理包括以下四个分步骤:
S11:加载LUNA16数据集中的图像数据和掩码,掩码是与CT图像同样大小的三维图像,区别在于掩码只有两种值,3和4,3代表左肺,4代表右肺;
S12:采用阈值化方法求取掩码的边界,即非零部分的边缘;所述阈值化方法采取的阈值为-600,过滤水、空气,剩下的部分进行膨胀处理,将肺部内部的小孔洞填上;掩码经过上述处理,生成mask;
S13:将LUNA16数据集中的图像数据截取至-1200~600,此范围外的图像数据置为-1200或600,然后再归一化至0~255,之后再对每张图像数据加载mask;
S14:读取每张图像数据的标签信息,将标签信息中的世界坐标转换为体素坐标,然后对其应用新的分辨率(取[1,1,1]),将加载mask之后的带有体素坐标的并应用了新分辨率的图像数据以.npy格式存储,即得经过预处理的图像数据集。
S2:建立集成自校正卷积模块(Self-Calibrated Convolutions block,简称SCConv模块)与有效通道注意力模块(Efficient Channel Attention block,简称ECA模块)的肺结节检测网络,如图3所示,其特征在于所述步骤S2包括以下两个分步骤:
S21:将SC Conv模块与ECA模块相结合,同时加入残差结构,得到肺结节检测网络核心模块ECA-SC模块。利用残差结构可以使网络变得更深。
所述ECA-SC模块包括一个SC Conv模块和一个ECA模块,输入X通过SC Conv模块处理后再通过ECA模块处理,然后将输入X与ECA模块的输出采用残差学习方式进行连接并通过Relu激活函数,将通过激活函数后的结果作为ECA-SC模块的输出,如图3ECA-SC模块所示。
所述SC Conv模块将一个标准卷积拆成四个小卷积进行多尺度特征提取。首先,将输入X均匀划分为{X1,X2},分别经过不同的处理操作;然后,将X1送入到第一分支(该分支为自矫正分支),将X2送入第二分支(该分支为常规卷积变换分支);最后,将处理后的特征拼接作为SC Conv模块的输出。在自矫正分支,对于输入X1,依次对其进行均值下采样Down、K2卷积特征变换、双线性上采样UP,采样率设为r,然后再与输入X1相加,通过sigmoid函数σ得到空域层面的注意力特征图,并将所得空域注意力图与经过K3卷积特征变换的X1进行融合,该过程可以描述为:
X’1=UP((T1))=UP(T1*K2)=UP(Down(X1)*K2)r
Y’1=F3(X1)+σ(X1+X’1)
最后将前面所得特征Y’1进行K4卷积特征变换:Y1=F4(Y’1)=Y’1×K4,得到该分支的特征输出Y1。
对输入X2进行K1卷积特征变换,得到常规卷积分支的输出Y2。最后,对两个分支输出特征Y1、Y2进行拼接操作,得到SC Conv模块最终的输出特征Y。
所述ECA模块的工作流程主要包含三个步骤:
首先,利用全局平均池化(GAP)操作将输入特征Y的各特征通道压缩成一个具有全局响应的实数,输出维度与输入特征图的数目相同,实现挤压操作;
其次,将实现挤压操作以后的特征,通过一个压缩比(降维)为r的全连接层(FC)将特征维度降低到输入的1/r,然后经过ReLu激活后再通过一个全连接层升回原来的维度,利用Sigmoid函数σ获得0~1之间归一化的权重,实现激励操作;
最后,通过Scale操作将激励操作归一化后的权重加权到输入特征Y的每个通道的特征上,从而实现特征图的重标定,得到ECA模块最终的输出特征Z。
S22:构建基于ECA-SC模块的肺结节检测网络,该网络整体为u-net型编码器-解码器网络,该检测网络包括:网络预处理单元、第一组ECA-SC模块、第一最大池化层、第二组ECA-SC模块、第二最大池化层、第三组ECA-SC模块、第三最大池化层、第四组ECA-SC模块、第四最大池化层、第一反卷积层、第五组ECA-SC模块、第二反卷积层、第六组ECA-SC模块、第一组1×1×1卷积单元与dropout层、第二组1×1×1卷积单元。
所述网络预处理单元为两个3×3×3、步长为1的卷积层,检测网络的输入为96×96×96的立方体,里面包含已标记的结节;检测网络的输入经过网络预处理单元处理后得到第一输出特征,第一输出特征依次经过第一组ECA-SC模块、第一最大池化层处理后得到第二输出特征;第二输出特征依次经过第二组ECA-SC模块、第二最大池化层处理后得到第三输出特征,第三输出特征依次经过第三组ECA-SC模块、第三最大池化层处理后得到第四输出特征;第四输出特征依次经过第四组ECA-SC模块、第四最大池化层处理后得到第五输出特征,第五输出特征经过第一反卷积层处理后得到第六输出特征;第四输出特征与第六输出特征进行特征串联之后依次经过第五组ECA-SC模块、第二反卷积层处理之后得到第七输出特征;第三输出特征与第七输出特征进行特征串联后经过第六组ECA-SC模块处理后,得到第八输出特征;第八输出特征依次经过第一组1×1×1卷积单元与dropout层、第二组1×1×1卷积单元处理后,得到检测网络的输出。
所述每一组ECA-SC模块均包含两个ECA-SC模块,两个ECA-SC模块之间为串联连接,将第一个ECA-SC模块的输出作为第二个ECA-SC模块的输入,通过一组ECA-SC模块输出通道数加24;每一反卷积层输出通道数不同,第一反卷积层的输出通道数为120,第二反卷积层的输出通道数为152;每一组1×1×1卷积单元含1个1×1×1卷积单元,其输出通道数不同,第一组1×1×1卷积单元的输出通道数为64,第二组1×1×1卷积单元的输出通道数为15;所有模块的的输入通道数都对应上一层的输出通道数。
所述检测网络具体工作流程如下:
(1)检测网络输入96×96×96的3D立方体,里面包含标记的结节,网络预处理单元采用两个3×3×3步长为1的卷积层来生成第一输出特征,通道数变为24。
(2)第一输出特征依次经过四组ECA-SC模块与第一最大池化层,依次生成第二输出特征、第三输出特征、第四输出特征、第五输出特征,每一步通过一组ECA-SC模块与最大池化层,让特征图空间上的每一个点都包含附近区域的信息和通道上的交互信息,同时以自适应学习的方式来获取每个特征通道的重要程度,构建特征的奖惩策略,充分优化网络性能,并采用残差学习方式构建更深层的网络。第二输出特征的图片尺寸缩减为48×48×48,通道数变为48;第三输出特征的图片尺寸缩减为24×24×24,通道数变为72;第四输出特征的图片尺寸缩减为12×12×12,通道数变为96;第五输出特征的图片尺寸缩减为6×6×6,通道数变为120;四组ECA-SC模块与最大池化层构成编码器,经过上述4步后,检测网络输入的图片尺寸缩减为原来的1/16,该操作为编码操作;
(3)将第五输出特征通过2×2×2、步长为2,输出通道数为120的第一反卷积层,图片尺寸变为12×12×12,输出通道数为120,与步骤(2)中的第四输出特征进行特征串联(Concat)得到第六输出特征,至此通道数为216,将第六输出特征经过第五组ECA-SC模块、一个2×2×2、步长为2、输出通道数为152的第二反卷积层,特征图尺寸恢复到24×24×24,输出通道数为152,与步骤(2)中第三输出特征进行特征串联(Concat)得到第七输出特征,至此通道数为224;上述操作为解码操作,对特征图的分辨率进行放大,逐步修复物体的细节和空间维度。编码器和解码器之间通过Concat建立的跳跃连接,帮助解码器更好地修复目标的细节。
(4)将第七输出特征经过第六组ECA-SC模块处理后,通道数变为248,生成第八输出特征,然后再依次经过第一组1×1×1卷积单元(通道数为64)与dropout层、第二组1×1×1卷积单元(通道数为15)处理,得到检测网络的输出。检测网络的输出为4维的张量数据,24×24×24×15可表示为24×24×24×3×5,其中3表示锚框个数,锚框大小分别为5、10、20,其中的5表示回归量为5个(本实施例为依次为概率、三维坐标x、y、z的值以及边界框直径大小)。
锚框的损失函数的值由分类损失和回归损失两部分组成,采用DR Loss作为分类损失,SmoothL1Loss作为回归损失,对正样本计算分类损失与回归损失,负标签不计算回归损失只计算分类损失,总损失为回归损失与分类损失之和:
式中:pi为锚框i预测为结节的概率,代表正锚框与负锚框当锚框i与ground truth边框交并比大于0.5为正锚框,小于0.02为负锚框,ti为相应的结节位置坐标预测,为ground truth结节位置,λ为0.5。
DR Loss将分类问题转化为置信度排序问题,选取正负样本中最具代表性的样本来参与排序,以此解决不平衡问题。DR Loss分类损失函数定义为:式中:分别代表正样本和负样本的置信度;为了确保正样本和负样本能够分开,设置γ=0.5;为了平滑整个曲线,加入了逻辑斯谛回归损失(logistic Loss):L用于控制损失函数的平滑性,此处设置为6。SmoothL1Loss则为传统回归损失函数,可通过pytorch框架直接调用。
S3:利用训练集对S3中构建的肺结节检测网络进行训练,根据损失函数,训练检测网络模型的参数,得到训练好的检测网络模型;然后将验证集输入到训练好的检测网络模型,测试检测网络模型的性能。
所述步骤S3具体包括以下三个步骤:
S31:采用训练集对肺结节检测网络进行训练,设置前1/3epoch的学习率为0.01,1/3到2/3epoch的学习率为0.001,剩余epoch的学习率为0.0001,动量设置为0.9,权重衰减为0.0001,网络模型保存频率为1(每个epoch保存一次网络模型);
S32:传入网络模型参数,包含所用检测网络、网络模型保存地址,迭代次数为1000,batch_size为3;
S33:计算损失函数的值,对正样本计算分类损失与回归损失,负标签不用计算回归损失只计算分类损失,其中分类损失使用DR Loss函数,回归损失使用SmoothL1Loss函数,将回归损失与分类损失相加,求出总损失,对总损失采用反向传播法,迭代1000次后,得到训练好的检测网络模型;
S34:将验证集输入到训练好的检测网络模型中,测试检测网络模型的稳定性,并根据FROC指标测试检测网络模型的可靠性;
S4:将测试集输入到S3中的训练好的检测网络模型中,得到肺结节位置检测结果,并通过计算得到该检测网络模型最终的FROC指标,肺结节位置检测结果参见图4。
应用例
为了验证本发明检测方法比常用的肺结节检测方法具有更高的精度,下面将本发明检测方法中设计的检测网络(简称Proposed)与现有的具有代表性的肺结节检测网络3Dresnet18网络(简称Res18)、deeplung中的3D dpn网络(简称Dpn)、deepseed中的3D res18_se网络(简称Res18_se)做对比,在相同的条件下,采用相同的数据集,分别进行训练、验证与测试。
评估指标选用FROC指标,该指标通过计算CPM(competition performancemetric)来衡量算法的性能。CPM指平均每组CT图像中假阳个数(FPs per scan)为1/8、1/4、1/2、1、2、4、8时的平均检出率。采用不同检测网络的测试方法的CPM值如表1所示。
表1基于LUNA16数据集结节检测模型的肺结节识别性能对比
从表1的结果可以看出,本发明的基于自校正卷积与通道注意力机制的肺结节检测方法与当前deeplung与deepseed中的算法相比,本检测方法的算法的CPM得到了显著提升。每次扫描中对1/8、1/4、1/2、1、2、4、8个假阳性的检测结果均优于deeplung与deepseed的检测结果,可用于计算机辅助医疗诊断系统。本发明检测方法的平均检出率为0.903,在各个假阳性个数下的灵敏度均高于deeplung与deepseed,检测性能最优;deepseed算法次之,平均检出率为0.865;deeplung算法稍差,平均检出率为0.844。本发明检测方法相比于deeplung与deepseed,在假阳性个数低的情况下检测性能更为凸显,在不同假阳性个数下均可得到较高的灵敏度,检测性能更稳定。在疾病诊断技术领域,一点点的准确率提升,可能就能使病人得到及时准确的诊断与治疗,避免误诊或漏诊所带来的危及生命的严重后果,因此,即使百分之一的准确率提升,也是具有重大实际应用价值。
本发明未述及之处适用于现有技术。
Claims (6)
1.一种基于自校正卷积与通道注意力机制的肺结节检测方法,其特征在于,该检测方法包括以下步骤:
S1:对LUNA16数据集中的图像数据进行预处理,然后将经过预处理的图像数据集划分为训练集、验证集和测试集,比例设置为6:1:3,根据比例随机选择归入三个数据集中;
S2:建立集成自校正卷积模块与有效通道注意力模块的肺结节检测网络;所述肺结节检测网络基于ECA-SC模块,所述ECA-SC模块包括一个SC Conv模块和一个ECA模块,输入X通过SC Conv模块处理后再通过ECA模块处理,然后将输入X与ECA模块的输出采用残差学习方式进行连接并通过Relu激活函数,将通过激活函数后的结果作为ECA-SC模块的输出;
所述肺结节检测网络包括:网络预处理单元、第一组ECA-SC模块、第一最大池化层、第二组ECA-SC模块、第二最大池化层、第三组ECA-SC模块、第三最大池化层、第四组ECA-SC模块、第四最大池化层、第一反卷积层、第五组ECA-SC模块、第二反卷积层、第六组ECA-SC模块、第一组1×1×1卷积单元与dropout层、第二组1×1×1卷积单元;
所述网络预处理单元为两个3×3×3、步长为1的卷积层,检测网络的输入为96×96×96的立方体,里面包含已标记的结节;检测网络的输入经过网络预处理单元处理后得到第一输出特征,第一输出特征依次经过第一组ECA-SC模块、第一最大池化层处理后得到第二输出特征;第二输出特征依次经过第二组ECA-SC模块、第二最大池化层处理后得到第三输出特征,第三输出特征依次经过第三组ECA-SC模块、第三最大池化层处理后得到第四输出特征;第四输出特征依次经过第四组ECA-SC模块、第四最大池化层处理后得到第五输出特征,第五输出特征经过第一反卷积层处理并与第四输出特征进行特征串联之后得到第六输出特征,第六输出特征依次经过第五组ECA-SC模块、第二反卷积层处理之后与第三输出特征进行特征串联后得到第七输出特征;第七输出特征经过第六组ECA-SC模块处理后,得到第八输出特征;第八输出特征依次经过第一组1×1×1卷积单元与dropout层、第二组1×1×1卷积单元处理后,得到检测网络的输出;
S3:利用训练集对S3中构建的肺结节检测网络进行训练,根据损失函数,训练检测网络模型的参数,得到训练好的检测网络模型;然后将验证集输入到训练好的检测网络模型,测试检测网络模型的性能;
S4:将测试集输入到S3中的训练好的检测网络模型中,得到肺结节位置检测结果。
2.根据权利要求1所述的一种基于自校正卷积与通道注意力机制的肺结节检测方法,其特征在于,所述S1中的预处理包括以下四个分步骤:
S11:加载LUNA16数据集中的图像数据和掩码,掩码是与CT图像同样大小的三维图像,区别在于掩码只有两种值,3和4,3代表左肺,4代表右肺;
S12:采用阈值化方法求取掩码的边界,即非零部分的边缘;所述阈值化方法采取的阈值为-600,过滤水、空气,剩下的部分进行膨胀处理,将肺部内部的小孔洞填上;掩码经过上述处理,生成mask;
S13:将LUNA16数据集中的图像数据截取至-1200~600,此范围外的图像数据置为-1200或600,然后再归一化至0~255,之后再对每张图像数据加载mask;
S14:读取每张图像数据的标签信息,将标签信息中的世界坐标转换为体素坐标,然后对其应用新的分辨率,将加载mask之后的带有体素坐标的并应用了新分辨率的图像数据以.npy格式存储,即得经过预处理的图像数据集。
3.根据权利要求1所述的一种基于自校正卷积与通道注意力机制的肺结节检测方法,其特征在于,所述每一组ECA-SC模块均包含两个ECA-SC模块,两个ECA-SC模块之间为串联连接,将第一个ECA-SC模块的输出作为第二个ECA-SC模块的输入,输入通道数对应上一层的输出通道数,通过一组ECA-SC模块输出通道数加24。
4.根据权利要求1所述的一种基于自校正卷积与通道注意力机制的肺结节检测方法,其特征在于,每一反卷积层输出通道数不同,第一反卷积层的输出通道数为120,第二反卷积层的输出通道数为152;每一组1×1×1卷积单元含1个1×1×1卷积单元,其输出通道数不同,第一组1×1×1卷积单元的输出通道数为64,第二组1×1×1卷积单元的输出通道数为15;所有层的输入通道数对应上一层的输出通道数。
5.根据权利要求1所述的一种基于自校正卷积与通道注意力机制的肺结节检测方法,其特征在于,所述肺结节检测网络的工作流程如下:
(1)检测网络输入96×96×96的3D立方体,里面包含标记的结节,网络预处理单元采用两个3×3×3步长为1的卷积层来生成第一输出特征,通道数变为24;
(2)第一输出特征依次经过四组ECA-SC模块与第一最大池化层,依次生成第二输出特征、第三输出特征、第四输出特征、第五输出特征;第二输出特征的图片尺寸缩减为48×48×48,通道数变为48;第三输出特征的图片尺寸缩减为24×24×24,通道数变为72;第四输出特征的图片尺寸缩减为12×12×12,通道数变为96;第五输出特征的图片尺寸缩减为6×6×6,通道数变为120;四组ECA-SC模块与最大池化层构成编码器,经过上述4步后,检测网络输入的图片尺寸缩减为原来的1/16,该操作为编码操作;
(3)将第五输出特征通过2×2×2、步长为2的第一反卷积层,图片尺寸变为12×12×12,输出通道数不变,仍为120,与步骤(2)中的第四输出特征进行特征串联得到第六输出特征,至此通道数为216,将第六输出特征经过第五组ECA-SC模块、一个2×2×2、步长为2的第二反卷积层,特征图尺寸恢复到24×24×24,输出通道数为152,与第三输出特征进行特征串联,通道数变为224,得到第七输出特征;
(4)将第七输出特征经过第六组ECA-SC模块处理后,通道数为248,得到第八输出特征,然后再依次经过第一组1×1×1卷积单元与dropout层、第二组1×1×1卷积单元处理,得到检测网络的输出。
6.根据权利要求1所述的一种基于自校正卷积与通道注意力机制的肺结节检测方法,其特征在于,所述S3具体包括以下三个步骤:
S31:采用训练集对肺结节检测网络进行训练,设置前1/3epoch的学习率为0.01,1/3到2/3epoch的学习率为0.001,剩余epoch的学习率为0.0001,动量设置为0.9,权重衰减为0.0001,网络模型保存频率为1;
S32:传入网络模型参数,包含所用检测网络、网络模型保存地址,迭代次数为1000,batch_size为3;
S33:计算损失函数的值,对正样本计算分类损失与回归损失,负标签不用计算回归损失只计算分类损失,其中分类损失使用DR Loss函数,回归损失使用SmoothL1Loss函数,将回归损失与分类损失相加,求出总损失,对总损失采用反向传播法,迭代1000次后,得到训练好的检测网络模型;
S34:将验证集输入到训练好的检测网络模型中,测试检测网络模型的稳定性,并根据FROC指标测试检测网络模型的可靠性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011253196.7A CN112329871B (zh) | 2020-11-11 | 2020-11-11 | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011253196.7A CN112329871B (zh) | 2020-11-11 | 2020-11-11 | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112329871A true CN112329871A (zh) | 2021-02-05 |
CN112329871B CN112329871B (zh) | 2022-03-08 |
Family
ID=74317443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011253196.7A Active CN112329871B (zh) | 2020-11-11 | 2020-11-11 | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112329871B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669319A (zh) * | 2021-03-22 | 2021-04-16 | 四川大学 | 一种多视角多尺度淋巴结假阳性抑制建模方法 |
CN112949838A (zh) * | 2021-04-15 | 2021-06-11 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
CN113486716A (zh) * | 2021-06-04 | 2021-10-08 | 电子科技大学长三角研究院(衢州) | 机场场面目标分割方法及其系统 |
CN115409743A (zh) * | 2022-11-03 | 2022-11-29 | 长春理工大学 | 基于深度学习用于脑部磁共振图像处理的模型构建方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109959887A (zh) * | 2017-12-26 | 2019-07-02 | 深圳先进技术研究院 | 一种三维磁共振成像重建方法、装置、应用及可读介质 |
CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
-
2020
- 2020-11-11 CN CN202011253196.7A patent/CN112329871B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109959887A (zh) * | 2017-12-26 | 2019-07-02 | 深圳先进技术研究院 | 一种三维磁共振成像重建方法、装置、应用及可读介质 |
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
Non-Patent Citations (4)
Title |
---|
JIANG-JIANG LIU ET AL: "Improving Convolutional Networks with Self-Calibrated Convolutions", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
QILONG WANG ET AL: "ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks", 《ARXIV:1910.03151V4》 * |
ZHANBO YANG ET AL: "MSA-Net: Multiscale Spatial Attention", 《SPRINGERLINK》 * |
田启川: "卷积神经网络图像语义分割技术", 《小型微型计算机系统》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669319A (zh) * | 2021-03-22 | 2021-04-16 | 四川大学 | 一种多视角多尺度淋巴结假阳性抑制建模方法 |
CN112949838A (zh) * | 2021-04-15 | 2021-06-11 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
CN112949838B (zh) * | 2021-04-15 | 2023-05-23 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
CN113486716A (zh) * | 2021-06-04 | 2021-10-08 | 电子科技大学长三角研究院(衢州) | 机场场面目标分割方法及其系统 |
CN115409743A (zh) * | 2022-11-03 | 2022-11-29 | 长春理工大学 | 基于深度学习用于脑部磁共振图像处理的模型构建方法 |
CN115409743B (zh) * | 2022-11-03 | 2023-03-24 | 长春理工大学 | 基于深度学习用于脑部磁共振图像处理的模型构建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112329871B (zh) | 2022-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112329871B (zh) | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 | |
Aggarwal et al. | COVID-19 image classification using deep learning: Advances, challenges and opportunities | |
Pinaya et al. | Unsupervised brain imaging 3D anomaly detection and segmentation with transformers | |
CN106940816B (zh) | 基于3d全卷积神经网络的ct图像肺结节检测系统 | |
CN108615237B (zh) | 一种肺部图像处理方法及图像处理设备 | |
US9959615B2 (en) | System and method for automatic pulmonary embolism detection | |
CN107154043B (zh) | 一种基于3dcnn的肺结节假阳性样本抑制方法 | |
Ionescu et al. | Prediction of reader estimates of mammographic density using convolutional neural networks | |
CN111145181B (zh) | 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法 | |
US20230104173A1 (en) | Method and system for determining blood vessel information in an image | |
CN110766051A (zh) | 一种基于神经网络的肺结节形态学分类方法 | |
Li et al. | Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images | |
CN112116603A (zh) | 一种基于多任务学习的肺结节假阳性筛查方法 | |
CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
CN113744183A (zh) | 肺结节检测方法及系统 | |
CN111680755A (zh) | 医学图像识别模型构建及医学图像识别方法、装置、介质及终端 | |
CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
CN111784638B (zh) | 一种基于卷积神经网络的肺结节假阳性筛除方法及系统 | |
CN111798424A (zh) | 一种基于医学图像的结节检测方法、装置及电子设备 | |
Li et al. | Automatic quantification of epicardial adipose tissue volume | |
CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
CN117710760B (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
Shi et al. | Automatic detection of pulmonary nodules in CT images based on 3D Res-I network | |
CN113764101B (zh) | 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |