CN109102502B - 基于三维卷积神经网络的肺结节检测方法 - Google Patents

基于三维卷积神经网络的肺结节检测方法 Download PDF

Info

Publication number
CN109102502B
CN109102502B CN201810891156.1A CN201810891156A CN109102502B CN 109102502 B CN109102502 B CN 109102502B CN 201810891156 A CN201810891156 A CN 201810891156A CN 109102502 B CN109102502 B CN 109102502B
Authority
CN
China
Prior art keywords
loss
network
data
nodule
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810891156.1A
Other languages
English (en)
Other versions
CN109102502A (zh
Inventor
李映
曹莹
刘凌毅
汪亦文
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201810891156.1A priority Critical patent/CN109102502B/zh
Publication of CN109102502A publication Critical patent/CN109102502A/zh
Application granted granted Critical
Publication of CN109102502B publication Critical patent/CN109102502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于三维卷积神经网络的肺结节检测方法,采用了特征金字塔和注意力机制的网络结构,融合了低层高分辨率的特征和高层抽象特征,并使得网络集中注意于有目标的区域。采用了三维卷积神经网络的检测方法,端对端的进行肺结节检测,降低了时间开销,并且相较于传统的方法提高了结节检测的召回率和平均准确率。

Description

基于三维卷积神经网络的肺结节检测方法
技术领域
本发明属于医学图像处理技术领域,涉及一种在肺部切片数据中检测肺结节的方法,具体来说是一种基于三维卷积神经网络的肺结节检测方法。
背景技术
癌症一直严重威胁着人类的生命健康,其中,由肺癌引发的死亡在所有癌症发病及死亡中占首位。而肺癌的生存率与发现的时机很相关,肺癌中晚期时,治疗费用高且效果不佳。早期的肺癌大多数无明显症状,常常以肺结节形式表现。据报道,肺结节尽早地被发现并治疗,肺癌的生存率会提高很多。因此,尽早的对肺结节进行检测和诊断是提升患者生存几率的关键。
CT图像是医生诊断肺部疾病的主要依据。目前,大部分针对CT数据的计算机辅助系统均采用了2D的特征,如边缘形态,边缘周长等。但是在2D特征中,肺部的血管、支气管等组织与肺结节很相似,从而对结节的检测产生了影响。而CT数据本质上就有3D的结构,是由一系列切片构成的,并且在3D空间中肺结节的形状与球体相近,而血管和支气管等组织会呈现延伸的形态,有着明显的差异。因此,将3D特征应用在肺结节检测中已经是CT图像研究的主流。
近年来,随着大数据和人工智能的发展,深度学习的研究不断地深入,为图像处理的相关领域也带来了巨大的变革。医疗诊断也开始涉足这一领域,将大数据驱动的深度学习应用于肺结节诊断中,对于缓解医疗资源和医患矛盾等均具有重大的意义。深度神经网络可以从数据本身出发,主动学习到CT数据的抽象特征,比起手工提取的特征,可以更好的表征数据本身。也因此,基于卷积神经网络(CNN)的技术也成为了肺结节检测方法的主流。
传统的检测方法可以分为两步,第一步,寻找待分类的疑似结节区域,主要目的是尽可能地找出包含所有结节的疑似区域,主要采用一些阈值法,分割算法等完成;第二步是对疑似结节的区域进行筛选,主要是建立一个分类器,对上一步的区域进行特征提取,接着将特征输入分类器,由分类器鉴别是否是结节。基于深度学习的肺结节检测最常见的是两阶段的方法,首先对原始CT图像做候选检测,提取候选目标;其次对候选目标进行二分类,并进行位置的回归,如基于区域的卷积神经网络(Region-based Convolutional NeuralNetwork,RCNN)系列的算法。但是RCNN系列的方法训练比较耗时,为了满足肺结节检测系统的实时性和可用性,设计一个快速高效的肺结节检测方法便具有很现实的意义。
发明内容
要解决的技术问题
为了克服传统的基于2D手工特征的肺结节检测方法没有利用到CT数据本质是3D结构的性质,从而影响检测召回率的问题。本发明替代了传统的手工特征,采用深度神经网络从3D肺部CT数据中学习更为抽象的特征。针对于RCNN系列的两阶段训练耗时问题,本发明采用了一阶段的检测框架,提出了一种基于特征金字塔网络(Feature PyramidNetwork,FPN)和注意力机制(Attention)的网络结构。FPN的结构使得网络既采用了低层高分辨率的特征,也采用了高层的抽象特征,而低层高分辨率的特征对于检测小的肺结节很有帮助,高层的抽象特征对于检测直径大的结节有很好的帮助。注意力机制使得神经网络可以专注于输入中的特定部分,在肺结节检测中,可以使得神经网络对疑似结节的区域学习到更大的权重。将两者结合起来,将预处理过的CT数据输入定义好的网络结构中,输出检测到的结节位置、直径以及当前位置是结节的概率,计算出位置回归和类别的损失,利用误差的反向传播算法对整个网络的参数进行调整,这样就得到了一个具有高召回率和平均准确率的肺结节检测系统。
技术方案
一种基于三维卷积神经网络的肺结节检测方法,其特征在于步骤如下:
步骤1:对肺部CT数据进行预处理:
采用下述公式将结节从图像坐标体系转换为病人坐标体系:
Figure BDA0001753045520000031
其中,origin和spacing分别为图像坐标体系中的原点和间距,center表示要转换的位置点,center'表示转换之后的位置点;
对每组数据循环每一个切片,使用阈值法以及连通区域标记得到肺实质区域的标记图;接着采用形态学的凸包和膨胀操作修复肺实质的外轮廓和内部轮廓,得到肺部的掩码,从而得到肺实质区域;接着重采样数据,将病人坐标体系中的三个面上的切片间距均调整为1mmⅹ1mmⅹ1mm,并将亨氏值规范化至0~255的范围内,得到肺分割的预处理结果;所述的三个面为横断面、冠状面、矢状面;
步骤2:利用定义好的网络结构在训练集上进行训练,确定一组最优的参数:
对训练数据进行过采样、裁剪、数据增强,所述的数据增强有水平翻转和旋转操作;在输入给网络之前再将0~255的数值范围进行归一化;
本发明针对于输入图像块,会预测出20ⅹ20ⅹ20个位置,每个位置有4个anchor;anchor大小是根据统计分析得来的;
处理训练数据标签时,判断如果一个anchor与任意一个标签的IOU大于0.5则认为是结节,并将置信度标记为1;如果一个anchor与任意一个标签的IOU小于0.02,则认为其不是结节,并将置信度设置为-1;IOU大于0.02小于0.5的位置均设置为0,不参与训练;
在训练数据与标签均处理完成后,将训练数据输入网络中,进行前向传播:
首先输入数据,经过预处理块提取特征,预处理块是由一个卷积层,批规范化层和激活函数Relu6组成;接着将输出结果输入至两个并行的残差块和注意力模块中,残差块主要是为提取特征,注意力模块会给出一个概率分布,最终将两个结果结合起来;设残差块的输出为T,注意力模块的输出为M,则最终的输出为(1+M)×T,可以看出,如果权重M为0,则输出为T,如果M变大,则输出会被加强;接着将输出结果传入下一层的下采样模块,这一层的作用是降低特征的分辨率,采用步长为2的卷积层实现;在特征图的分辨率为10×10×10大小时进行上采样操作,采用反卷积实现,再将结果与前面得到的位置信息以及下采样结果进行连接,最后再经过卷积、dropout得到最终的输出;
得到网络前向传播的输出后,计算其与真实标签之间的误差;由于样本位置中多数为负样本,为了解决样本类别不平衡以及易分样本的问题,采用了在线难分负样本挖掘;即将正负anchor分开计算损失,所有正的anchor全部参与损失的计算;对负的anchor,根据其是结节的概率排序,取出前k个负的anchor来计算损失,在这里k设置为正anchor数目的2倍;即只有所有正样本和2倍数目的难分负样本会参与损失的计算;这里的损失是多任务的损失,一部分是分类的损失,另一部分是位置回归的损失,当然只有正的anchor才有回归的损失;分类损失采用焦点损失,让损失聚焦于难分的anchor,对正的anchor,损失计算公式如下:
FL+(pt)=-αt(1-pt)γlog(pt)
其中αt、γ是两个超参数,αt是为了控制正负anchor的比重,本发明中将其设置为0.25,γ设置为2;pt代表当前anchor是结节的概率;
对于负的anchor,损失的计算公式如下:
FL-(pt)=-(1-αt)pt γlog(1-pt)
回归损失采用Smooth L1,对于x,y,z,d的回归均采用如下计算方式:
Figure BDA0001753045520000041
整体损失函数为分类损失与回归损失之和;计算出损失之后,采用反向传播算法来更新网络参数,反复迭代多次,直至损失函数值减小,网络收敛到局部最优或是达到一定的迭代次数时停止训练,则找到了一组最优的网络参数;
步骤3:利用训练好的网络参数在测试集上进行预测:
对于一组测试病例数据,在进行了步骤1的预处理之后,对数据进行了切分,将一组数据切分为多个小的立方体块,然后将小的立方体块输入步骤2训练好的网络来提取特征并预测输出,得到每个立方块的输出后再将结果合并起来得到最终的预测结果:预测的位置x,y,z和直径d以及当前位置是结节的置信度p;
先采用阈值法,根据置信度p,以及预测的结节直径d进行初筛,再采用非极大值抑制NMS去掉多余的位置;最后,再对预测得到的位置x,y,z进行坐标的转换:
coord'=coord×spacing+origin
其中,coord是要转换的位置坐标,coord'是转换后的位置坐标,得到最终结果。
步骤3中的置信度p的阈值取-1.2。
步骤3中的结节直径大小范围为2mm~35mm之间。
步骤3中的NMS的阈值采用0.1。
有益效果
本发明提出的一种基于三维卷积神经网络的肺结节检测方法,采用了特征金字塔和注意力机制的网络结构,融合了低层高分辨率的特征和高层抽象特征,并使得网络集中注意于有目标的区域。采用了三维卷积神经网络的检测方法,端对端的进行肺结节检测,降低了时间开销,并且相较于传统的方法提高了结节检测的召回率和平均准确率。
附图说明
图1:基于三维卷积神经网络的肺结节检测网络结构
图2:残差块详细设计
图3:注意力模块详细设计
具体实施方式
现结合实施例、附图对本发明作进一步描述:
一种基于三维卷积神经网络的肺结节检测方法,步骤如下:
步骤1对肺部CT数据进行预处理,主要是为降低血管等一系列非肺区域的干扰,得到切割之后的肺实质区域,降低假阳性。由于人体肺部结构复杂,个体差异大,双肺部充满了气体,其CT值比周围的骨骼、肌肉等组织低,肺实质图像边缘明晰。但是由于双肺内包含了动静脉血管、气管、支气管、毛细血管等多种解剖结构,因此双肺部低的CT值内含有许多高CT值图像,这对目标图像的分析造成了很大的不利。所以在预处理阶段对肺进行分割可以大大降低假阳性的引入,在网络预测阶段减少搜索空间。
图像坐标体系描述的是图像是怎么被获取的,医学扫描仪器创建了规则的点和网格的矩形数组,它的原点在左上角。其除了保存立体像素的强度值外,还保存了原点及间距。对医学图像处理来说,最重要是病人坐标体系,主要用来描述标准的人体在解剖学上的位置。因此首先要对坐标进行转换。将结节从图像坐标体系转换为病人坐标体系,在病人坐标体系中进行处理;对每组数据循环每一个切片,使用阈值法以及连通区域标记得到肺实质区域的标记图;接着采用形态学的凸包和膨胀操作修复肺实质的外轮廓和内部轮廓,得到肺部的掩码,从而得到肺实质区域;接着重采样数据,将3个方向的切片间距均调整为1mm×1mm×1mm,并将亨氏值规范化至0~255的范围内,得到肺分割的预处理结果。
步骤2利用定义好的网络结构在训练集上进行训练,确定一组最优的参数。
在训练时,为使得训练数据与定义好的网络结构相匹配,首先需要对处理好的肺实质进行进一步的处理,得到训练数据块以及对应的标签。
针对大直径的结节数量较少,小直径结节数量较多的情况,首先对训练数据中的大直径结节进行过采样。紧接着再对每个CT数据进行裁剪,根据给定的标签,随机在结节周围选取位置,以该位置为参考,裁取结节位置周围80×80×80mm的立方块作为训练时的输入数据,同时保存选取的立方块相对于原始图像的相对位置信息。最后再对80×80×80mm的立方块执行数据增强操作,主要有水平翻转和旋转。在输入给网络之前再对0~255的数值范围进行归一化,将数值限制在一个小的范围内。
本发明针对于输入图像块,会预测出20×20×20个位置,为了更好地覆盖到所有的结节,采用了锚(anchor)机制,对于每一个位置再取4个不同的直径大小。这里不同直径大小的选取是采用统计分析得到的。此外,对每个位置会得到4+1的输出值,其中4表示预测出的结节位置和直径x,y,z和d,1表示当前位置是结节的概率。因此,对于80×80×80的数据块对应的标签信息为20×20×20×4×5。在进行标签处理时,主要是给出每个anchor的类别标签。其规则为,判断如果一个anchor与任意一个标签的交集与并集的比值(Intersection over Union,IOU)大于0.5则认为该位置是结节,并将其类别标签标记为1;如果一个anchor与任意一个标签的IOU小于0.02,则认为该anchor不是结节,并将其类别标签设置为-1。IOU大于0.02小于0.5的anchor均设置为0,不参与训练。
在训练数据与标签均处理完成后,将训练数据输入网络中,进行前向传播,得到预测结果。前向传播的网络结构受到了FPN和注意力机制的启发,网络结构如图1所示。3D数据块经过预处理块提取特征,接着将输出结果输入至两个并行的块中,残差块主要是为提取特征,注意力模块会给出一个概率分布,指示出网络应该将注意力集中在特征图的哪些部分,对于有目标的区域应该对应更大的权重,没有目标的区域对应小的权重,最终将两个结果结合起来。设残差块的输出为T,注意力模块的输出为M,则最终的输出为(1+M)×T。可以看出,如果权重M为0,则输出为残差块的输出T,如果M变大,则输出会被加强。接着将输出结果传入下一层的下采样模块,这一层的主要作用是降低特征的分辨率,采用步长为2的卷积层实现。在特征的分辨率为10×10×10大小时进行上采样操作,采用反卷积实现,再将结果与前面得到的位置信息以及下采样结果进行连接,最后再经过卷积、dropout等操作得到最终的输出。
得到网络前向传播的输出后,计算其与真实标签之间的误差。由于样本位置中多数为负样本,为了解决样本类别不平衡以及易分样本的问题,采用了在线难分负样本挖掘(Online Hard Negative Mining,OHNM)。即将正负anchor分开计算损失,所有正的anchor全部参与损失的计算;对负的anchor,根据其是结节的概率排序,取出前k个负的anchor来计算损失,在这里k设置为正anchor数目的2倍。这里的损失是多任务的损失,一部分是分类的损失,另一部分是位置回归的损失。当然只有正的anchor才有回归的损失。分类损失采用焦点损失(focal loss),让损失聚焦于难分的anchor,回归损失采用smooth L1。计算出损失之后,采用反向传播算法来更新网络参数,反复迭代多次,直至损失减小,网络收敛到局部最优或是达到一定的迭代次数时停止训练,则找到了一组最优的网络参数。
步骤3利用训练好的网络参数在测试集上进行预测。
同训练一样,测试之前,首先对数据进行处理,主要是对数据进行切分。对于一个病人的CT数据,将其切分成多个小的立方体块,再将小的立方体块输入网络来提取特征并预测输出。得到每个立方块的输出后再将结果合并起来得到最终的预测结果,结果给出预测的位置x,y,z和直径d,以及当前位置是结节的概率p。
通常神经网络预测出的位置有很多,先采用阈值法,根据是结节的概率p,以及预测的结节直径d进行初筛,再采用非极大值抑制(Non-maximum suppression,NMS)去掉多余的位置。由于所有的训练和预测都是在结节的病人坐标体系中进行的,而实际要得到的是图像坐标体系,因此再对预测得到的位置x,y,z进行坐标的转换,得到最终结果。
实施例:
步骤1:坐标转换时已知图像坐标体系中的原点origin和间距spacing,依照如下公式计算转换后的坐标。
Figure BDA0001753045520000091
其中center表示要转换的位置点,center'表示转换之后的位置点。接着采用阈值法以及连通区域标记得到肺实质区域的标记图。采用形态学的凸包和膨胀操作修复肺实质的外轮廓和内部轮廓,得到肺部的掩码,从而得到肺实质区域;再重采样数据,将病人坐标体系中的三个面上(横断面、冠状面、矢状面)的切片间距均调整为1mm×1mm×1mm,并将体素的数值范围规范化至0~255的范围内,得到肺分割的预处理结果。
步骤2:利用定义好的网络结构在训练集上进行训练,确定一组最优的参数。
在训练时,为使得训练数据与定义好的网络结构相匹配,首先需要对处理好的肺实质进行进一步的处理,得到训练数据块以及对应的标签。
针对大直径的结节数量较少,小直径结节数量较多的情况,首先对训练数据中的大直径结节进行过采样。根据结节直径进行了统计分析,得出小于8mm的结节数量很多,相比之下,直径在8~20mm之间的结节数量较少,大于20mm的结节最少,这样的不均衡会导致网络对大的结节不敏感。因此对8~20mm之间结节进行了4倍的采样,对大于20mm的结节进行了6倍的采样。紧接着再对每个CT数据进行裁剪,根据给定的标签,随机在结节周围选取位置,以该位置为参考,裁取结节位置周围80×80×80mm的立方块作为训练时的输入数据,同时保存选取的立方块相对于原始图像的相对位置信息。此外,对训练数据进行裁剪时是随机裁剪的,所以过采样再加上随机裁剪相当于扩充了数据。最后再对80×80×80mm的立方块执行数据增强操作,主要有水平翻转和旋转。在输入给网络之前再对0~255的数值范围进行归一化,将数值限制在一个小的范围内。
本发明针对于输入图像块,会预测出20ⅹ20ⅹ20个位置,每个位置有4个anchor。设置4个anchor是为了覆盖到不同直径的结节。这里anchor大小是根据统计分析得来的。将2mm至35mm的结节分成了10个区间,统计了每个区间内结节的个数,最终确定了4个anchor的大小。
在进行标签处理时,主要是给出每个anchor的类别标签。其规则为,判断如果一个anchor与任意一个标签的IOU大于0.5则认为该位置是结节,并将其类别标签标记为1;如果一个anchor与任意一个标签的IOU小于0.02,则认为该anchor不是结节,并将其类别标签设置为-1。IOU大于0.02小于0.5的anchor均设置为0,不参与训练。
在训练数据与标签均处理完成后,将训练数据输入网络中,进行前向传播。网络结构如附图1所示。图中,矩阵框表示操作,空心箭头表示指示作用,指示在当前过程中,特征图的个数以及维度。
首先输入数据,经过预处理块提取特征,预处理块是由一个卷积层,批规范化层和激活函数Relu6组成。接着将输出结果输入至两个并行的块中,残差块主要是为提取特征,注意力模块会给出一个概率分布,指示出网络应该将注意力集中在特征图的哪些部分,对于有目标的区域应该对应更大的权重,没有目标的区域对应小的权重,最终将两个结果结合起来。设残差块的输出为T,注意力模块的输出为M,则最终的输出为(1+M)×T,可以看出,如果权重M为0,则输出为T,如果M变大,则输出会被加强。其中残差块的结构如附图2所示,主要在于将输入x直接加到了激活函数前,这样避免了梯度消失,使得梯度可以直接传播到前面的层。注意力模块1的结构如附图3所示,参数也是由网络自主学习,通过最大池化将特征图的分辨率降低了,由反卷积将分辨率提升了上来,主要在于最后通过Sigmoid函数得到的特征图的权重分布。
接着将输出结果传入下一层下采样,这一层的主要是为了降低特征图的分辨率。下采样的具体操作是由步长为2的卷积层,批规范化和激活函数Relu6层组成。注意力模块2比较简单,是由卷积、批规范化BatchNorm、激活函数Relu6、最大池化和反卷积以及sigmoid实现。
在特征图的分辨率为10ⅹ10ⅹ10大小时进行上采样操作,相应地,上采样是为了获取更高分辨率的特征图,这里采用反卷积实现。再将结果与前面得到的位置信息以及下采样结果进行连接,最后再经过卷积、dropout等操作得到最终的输出,这里dropout的比率设置为0.3。
得到网络前向传播的输出后,计算其与真实标签之间的误差。由于样本位置中多数为负样本,为了解决样本类别不平衡以及易分样本的问题,采用了在线难分负样本挖掘。即将正负anchor分开计算损失,所有正的anchor全部参与损失的计算;对负的anchor,根据其是结节的概率排序,取出前k个负的anchor来计算损失,在这里k设置为正anchor数目的2倍。即只有所有正样本和2倍数目的难分负样本会参与损失的计算。这里的损失是多任务的损失,一部分是分类的损失,另一部分是位置回归的损失,当然只有正的anchor才有回归的损失。分类损失采用焦点损失,让损失聚焦于难分的anchor,对正的anchor,损失计算公式如下:
FL+(pt)=-αt(1-pt)γlog(pt)
其中αt、γ是两个超参数,αt是为了控制正负anchor的比重,本发明中将其设置为0.25,γ设置为2。pt代表当前anchor是结节的概率。对于正的anchor,如果pt比较小,那么说明预测错误,因此用1-pt的值会比较大,那么交叉熵损失-log(pt)会有一个较大的权重。相反如果pt较大,则说明预测正确,此时会分配到一个较小的权重。对于负的anchor,损失的计算公式如下:
FL-(pt)=-(1-αt)pt γlog(1-pt)
如果pt比较大,即预测错误,其损失也会有较大的权重;如果预测正确,那么交叉熵损失也有较小的权重。
回归损失采用Smooth L1,对于x,y,z,d的回归均采用如下计算方式:
Figure BDA0001753045520000121
整体损失函数为分类损失与回归损失之和。计算出损失之后,采用反向传播算法来更新网络参数,反复迭代多次,直至损失函数值减小,网络收敛到局部最优或是达到一定的迭代次数时停止训练,则找到了一组最优的网络参数。
步骤3:利用训练好的网络参数在测试集上进行预测。
对于一组测试病例数据,在进行了步骤1的预处理之后,要输入到网络进行预测,还需要做一定的处理。这里主要是对数据进行了切分,将一组数据切分为多个小的立方体块。然后将小的立方体块输入网络来提取特征并预测输出。得到每个立方块的输出后再将结果合并起来得到最终的预测结果。结果给出预测的位置和直径x,y,z,d以及当前位置是结节的概率p。
对于3D的神经网络来说会预测出的更多的位置。先采用阈值法,根据概率p,以及预测的结节直径d进行初筛。这里概率的阈值设置为0.23,大于该阈值的位置均被保留,小于该阈值的均不考虑。接着根据直径大小再筛选一次,由于结节的直径范围大约是在2mm~35mm之间,因此,筛选出在该区间范围的位置。这两步筛选后还有一些距离很近的位置,再采用NMS去掉多余的位置,这里NMS的阈值采用0.1,即两个位置的IOU大于0.1的位置会被抑制。最后,由于所有的训练和预测都是在结节的病人坐标体系中进行的,而实际要得到的是图像坐标体系。因此再对预测得到的位置x,y,z进行坐标的转换,这里转换的公式如下:
coord'=coord×spacing+origin
其中coord是要转换的位置坐标,coord'是转换后的位置坐标。至此,整个完整的肺结节检测过程就完成了。

Claims (4)

1.一种基于三维卷积神经网络的肺结节检测方法,其特征在于步骤如下:
步骤1:对肺部CT数据进行预处理:
采用下述公式将结节从图像坐标体系转换为病人坐标体系:
Figure FDA0003043000400000011
其中,origin和spacing分别为图像坐标体系中的原点和间距,center表示要转换的位置点,center'表示转换之后的位置点;
对每组数据循环每一个切片,使用阈值法以及连通区域标记得到肺实质区域的标记图;接着采用形态学的凸包和膨胀操作修复肺实质的外轮廓和内部轮廓,得到肺部的掩码,从而得到肺实质区域;接着重采样数据,将病人坐标体系中的三个面上的切片间距均调整为1mm×1mm×1mm,并将亨氏值规范化至0~255的范围内,得到肺分割的预处理结果;所述的三个面为横断面、冠状面、矢状面;
步骤2:利用定义好的网络结构在训练集上进行训练,确定一组最优的参数:
对训练数据进行过采样、裁剪、数据增强,所述的数据增强有水平翻转和旋转操作;在输入给网络之前再将0~255的数值范围进行归一化;
针对于输入图像块,会预测出20×20×20个位置,每个位置有4个anchor;anchor大小是根据统计分析得来的;
处理训练数据标签时,判断如果一个anchor与任意一个标签的IOU大于0.5则认为是结节,并将置信度标记为1;如果一个anchor与任意一个标签的IOU小于0.02,则认为其不是结节,并将置信度设置为-1;IOU大于0.02小于0.5的位置均设置为0,不参与训练;
在训练数据与标签均处理完成后,将训练数据输入网络中,进行前向传播:
首先输入数据,经过预处理块提取特征,预处理块是由一个卷积层,批规范化层和激活函数Relu6组成;接着将输出结果输入至两个并行的残差块和注意力模块中,残差块是为提取特征,注意力模块会给出一个概率分布,最终将两个结果结合起来;设残差块的输出为T,注意力模块的输出为M,则最终的输出为(1+M)×T,可以看出,如果权重M为0,则输出为T,如果M变大,则输出会被加强;接着将输出结果传入下一层的下采样模块,这一层的作用是降低特征的分辨率,采用步长为2的卷积层实现;在特征图的分辨率为10×10×10大小时进行上采样操作,采用反卷积实现,再将结果与前面得到的位置信息以及下采样结果进行连接,最后再经过卷积、dropout得到最终的输出;
得到网络前向传播的输出后,计算其与真实标签之间的误差;由于样本位置中多数为负样本,为了解决样本类别不平衡以及易分样本的问题,采用了在线难分负样本挖掘;即将正负anchor分开计算损失,所有正的anchor全部参与损失的计算;对负的anchor,根据其是结节的概率排序,取出前k个负的anchor来计算损失,在这里k设置为正anchor数目的2倍;即只有所有正样本和2倍数目的难分负样本会参与损失的计算;这里的损失是多任务的损失,一部分是分类的损失,另一部分是位置回归的损失,当然只有正的anchor才有回归的损失;分类损失采用焦点损失,让损失聚焦于难分的anchor,对正的anchor,损失计算公式如下:
FL+(pt)=-αt(1-pt)γlog(pt)
其中αt、γ是两个超参数,αt是为了控制正负anchor的比重,将其设置为0.25,γ设置为2;pt代表当前anchor是结节的概率;
对于负的anchor,损失的计算公式如下:
Figure FDA0003043000400000021
回归损失采用Smooth L1,对于预测的位置x,y,z和直径d的回归均采用如下计算方式:
Figure FDA0003043000400000022
整体损失函数为分类损失与回归损失之和;计算出损失之后,采用反向传播算法来更新网络参数,反复迭代多次,直至损失函数值减小,网络收敛到局部最优或是达到一定的迭代次数时停止训练,则找到了一组最优的网络参数;
步骤3:利用训练好的网络参数在测试集上进行预测:
对于一组测试病例数据,在进行了步骤1的预处理之后,对数据进行了切分,将一组数据切分为多个小的立方体块,然后将小的立方体块输入步骤2训练好的网络来提取特征并预测输出,得到每个立方块的输出后再将结果合并起来得到最终的预测结果:预测的位置x,y,z和直径d以及当前位置是结节的置信度p;
先采用阈值法,根据置信度p,以及预测的结节直径d进行初筛,再采用非极大值抑制NMS去掉多余的位置;最后,再对预测得到的位置x,y,z进行坐标的转换:
coord'=coord×spacing+origin
其中,coord是要转换的位置坐标,coord'是转换后的位置坐标,得到最终结果。
2.根据权利要求1所述的一种基于三维卷积神经网络的肺结节检测方法,其特征在于步骤3中的置信度p的阈值取-1.2。
3.根据权利要求1所述的一种基于三维卷积神经网络的肺结节检测方法,其特征在于步骤3中的结节直径大小范围为2mm~35mm之间。
4.根据权利要求1所述的一种基于三维卷积神经网络的肺结节检测方法,其特征在于步骤3中的NMS的阈值采用0.1。
CN201810891156.1A 2018-08-03 2018-08-03 基于三维卷积神经网络的肺结节检测方法 Active CN109102502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810891156.1A CN109102502B (zh) 2018-08-03 2018-08-03 基于三维卷积神经网络的肺结节检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810891156.1A CN109102502B (zh) 2018-08-03 2018-08-03 基于三维卷积神经网络的肺结节检测方法

Publications (2)

Publication Number Publication Date
CN109102502A CN109102502A (zh) 2018-12-28
CN109102502B true CN109102502B (zh) 2021-07-23

Family

ID=64848735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810891156.1A Active CN109102502B (zh) 2018-08-03 2018-08-03 基于三维卷积神经网络的肺结节检测方法

Country Status (1)

Country Link
CN (1) CN109102502B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754404B (zh) * 2019-01-02 2020-09-01 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN109815919B (zh) * 2019-01-28 2021-04-20 上海七牛信息技术有限公司 一种人群计数方法、网络、系统和电子设备
CN110009599A (zh) * 2019-02-01 2019-07-12 腾讯科技(深圳)有限公司 肝占位检测方法、装置、设备及存储介质
CN111723829B (zh) * 2019-03-18 2022-05-06 四川大学 一种基于注意力掩模融合的全卷积目标检测方法
CN109961446B (zh) * 2019-03-27 2021-06-01 深圳视见医疗科技有限公司 Ct/mr三维图像分割处理方法、装置、设备及介质
CN110175979B (zh) * 2019-04-08 2021-07-27 杭州电子科技大学 一种基于协同注意力机制的肺结节分类方法
CN110399907B (zh) * 2019-07-03 2021-12-03 杭州深睿博联科技有限公司 基于诱导注意力的胸腔病症检测方法及装置、存储介质
CN110298413B (zh) * 2019-07-08 2021-07-16 北京字节跳动网络技术有限公司 图像特征提取方法、装置、存储介质及电子设备
CN110473168A (zh) * 2019-07-09 2019-11-19 天津大学 一种基于3d挤压-激励残差网络的肺结节自动检测系统
CN110533637B (zh) * 2019-08-02 2022-02-11 杭州依图医疗技术有限公司 一种检测对象的方法及装置
CN110533638A (zh) * 2019-08-02 2019-12-03 杭州依图医疗技术有限公司 一种测量对象尺寸的方法及装置
CN110517278B (zh) * 2019-08-07 2022-04-29 北京旷视科技有限公司 图像分割和图像分割网络的训练方法、装置和计算机设备
CN110807764A (zh) * 2019-09-20 2020-02-18 成都智能迭迦科技合伙企业(有限合伙) 一种基于神经网络的肺癌筛查方法
CN110717916B (zh) * 2019-09-29 2022-08-30 华中科技大学 一种基于卷积神经网络的肺栓塞检测系统
CN110827253A (zh) * 2019-10-30 2020-02-21 北京达佳互联信息技术有限公司 一种目标检测模型的训练方法、装置及电子设备
CN111062903A (zh) * 2019-12-06 2020-04-24 携程计算机技术(上海)有限公司 图像水印的自动处理方法、系统、电子设备及存储介质
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
CN111259930B (zh) * 2020-01-09 2023-04-25 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN111310814A (zh) * 2020-02-07 2020-06-19 支付宝(杭州)信息技术有限公司 利用不平衡正负样本对业务预测模型训练的方法及装置
CN111402320A (zh) * 2020-03-17 2020-07-10 北京和众视野科技有限公司 一种基于深度学习的纤维截面直径检测方法
CN111415342B (zh) * 2020-03-18 2023-12-26 北京工业大学 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法
CN111767919B (zh) * 2020-04-10 2024-02-06 福建电子口岸股份有限公司 一种多层双向特征提取与融合的目标检测方法
CN111507965A (zh) * 2020-04-17 2020-08-07 中山仰视科技有限公司 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN113706541B (zh) * 2020-05-20 2024-04-19 青岛海信医疗设备股份有限公司 一种图像处理方法及装置
CN111784593A (zh) * 2020-06-04 2020-10-16 广东省智能制造研究所 一种面向深度学习的肺结节ct图像数据增强方法及系统
CN111723817B (zh) * 2020-06-30 2023-09-29 重庆大学 一种肺结节辅助检测方法
CN112669283B (zh) * 2020-12-29 2022-11-01 杭州优视泰信息技术有限公司 一种基于深度学习的肠镜图像息肉误检测抑制装置
CN112561912B (zh) * 2021-02-20 2021-06-01 四川大学 一种基于先验知识的医学图像淋巴结检测方法
CN113111718B (zh) * 2021-03-16 2024-06-21 北京航科威视光电信息技术有限公司 一种基于多模态遥感图像细粒度弱特征目标涌现检测方法
CN113425266B (zh) * 2021-07-09 2023-02-28 上海市第一人民医院 一种基于红外成像的皮肤癌筛查系统
CN115219810B (zh) * 2022-05-18 2023-06-20 四川大学 一种基于雷电定位系统的线路跳闸预测方法
CN115620899B (zh) * 2022-12-01 2023-04-07 首都医科大学附属北京朝阳医院 基于多视野的3d卷积神经网络集成模型肺结节诊断系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
US9633268B1 (en) * 2015-12-18 2017-04-25 Beijing University Of Posts And Telecommunications Method and device for gait recognition
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN107833219A (zh) * 2017-11-28 2018-03-23 腾讯科技(深圳)有限公司 图像识别方法及装置
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
WO2018106783A1 (en) * 2016-12-06 2018-06-14 Siemens Energy, Inc. Weakly supervised anomaly detection and segmentation in images
CN108257128A (zh) * 2018-01-30 2018-07-06 浙江大学 一种基于3d卷积神经网络的肺结节检测装置的建立方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633268B1 (en) * 2015-12-18 2017-04-25 Beijing University Of Posts And Telecommunications Method and device for gait recognition
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
WO2018106783A1 (en) * 2016-12-06 2018-06-14 Siemens Energy, Inc. Weakly supervised anomaly detection and segmentation in images
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN107833219A (zh) * 2017-11-28 2018-03-23 腾讯科技(深圳)有限公司 图像识别方法及装置
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108257128A (zh) * 2018-01-30 2018-07-06 浙江大学 一种基于3d卷积神经网络的肺结节检测装置的建立方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于U型卷积神经网络的航空影像建筑物检测;伍广明 等;《测绘学报》;20180630;第47卷(第6期);864-872 *
基于卷积神经网络的小细胞型肺癌辅助检测方法;李学沧 等;《中国数学医学》;20131015;第8卷(第10期);65-67、72 *

Also Published As

Publication number Publication date
CN109102502A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN109102502B (zh) 基于三维卷积神经网络的肺结节检测方法
CN106940816B (zh) 基于3d全卷积神经网络的ct图像肺结节检测系统
CN109685776B (zh) 一种基于ct图像的肺结节检测方法及系统
CN107016665B (zh) 一种基于深度卷积神经网络的ct肺结节检测方法
CN110009600A (zh) 一种医学图像区域过滤方法、装置及存储介质
CN110689547A (zh) 一种基于三维ct影像的肺结节分割方法
Wu et al. U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation
CN112085714B (zh) 一种肺结节检测方法、模型训练方法、装置、设备及介质
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN105809175A (zh) 一种基于支持向量机算法的脑水肿分割方法及系统
CN114842238B (zh) 一种嵌入式乳腺超声影像的识别方法
CN112598613A (zh) 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法
CN111784638B (zh) 一种基于卷积神经网络的肺结节假阳性筛除方法及系统
CN112365973A (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN112700461A (zh) 一种肺结节检测和表征类别识别的系统
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN111784713A (zh) 一种引入注意力机制的u形心脏分割方法
Tyagi et al. An amalgamation of vision transformer with convolutional neural network for automatic lung tumor segmentation
Cao et al. 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans
CN115661828A (zh) 一种基于动态分层嵌套残差网络的文字方向识别方法
CN115375632A (zh) 基于CenterNet模型的肺结节智能检测系统及方法
CN115880200A (zh) 基于3D-Vnet和3D-resNet的CT图像肺结节检测方法及系统
CN113781475A (zh) 热红外图像显著人体目标检测方法及系统
CN112633336A (zh) 一种基于多尺度特征融合的肺结节识别分类方法
Essaf et al. Review on deep learning methods used for computer-aided lung cancer detection and diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant