CN106504232B - 一种基于3d卷积神经网络的肺部结节自动检测系统 - Google Patents
一种基于3d卷积神经网络的肺部结节自动检测系统 Download PDFInfo
- Publication number
- CN106504232B CN106504232B CN201610899135.5A CN201610899135A CN106504232B CN 106504232 B CN106504232 B CN 106504232B CN 201610899135 A CN201610899135 A CN 201610899135A CN 106504232 B CN106504232 B CN 106504232B
- Authority
- CN
- China
- Prior art keywords
- layers
- pulmonary nodule
- images
- convolutional neural
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002685 pulmonary effect Effects 0.000 title claims abstract description 104
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 74
- 210000004072 lung Anatomy 0.000 claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims description 32
- 230000004913 activation Effects 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 22
- 210000002569 neuron Anatomy 0.000 claims description 20
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 210000004879 pulmonary tissue Anatomy 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 210000001519 tissue Anatomy 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 6
- 238000002591 computed tomography Methods 0.000 description 53
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 9
- 201000005202 lung cancer Diseases 0.000 description 9
- 208000020816 lung neoplasm Diseases 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 102220112391 rs11551759 Human genes 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于3D卷积神经网络的肺部结节自动检测系统,本发明创新性地将检测分为两大阶段:(1)候选肺部结节检测阶段和(2)假阳性肺部结节筛除阶段,同时,每个阶段都会构建并训练出一个独特的3D CNN,以适用肺部结节的检测和筛除;通过第一阶段的3D CNN可以初步检测出疑似肺部结节的候选肺部结节位置,再利用第二阶段的3D CNN滤除掉候选结节中的假阳性肺部结节,最终找出整幅肺部CT影像中所有存在的结节位置。利用本发明可以自动地检测出一副肺部CT影像中结节的存在情况,与传统的依赖人工的结节检测方式相比较,具有检测准确率高、健壮性强、高效、耗时短等特点,使得肺部结节的检测更加便捷、有效。
Description
技术领域
本发明属于肺部CT影像检测筛选技术领域,更为具体地讲,涉及一种基于3D卷积神经网络(Convolutional Neural Network,简称CNN)的肺部结节自动检测系统。
背景技术
目前,由于长期吸烟、空气污染等原因造成了肺癌病例在全世界范围内呈现迅猛增长态势的现象。肺癌在世界上属于一种发病率和死亡率较高的癌症类型。有数据显示,在全球范围内肺癌平均5年生存率仅为16%,而在早期阶段(I期)肺癌5年生存率可达65%,而不幸的是仅有10%的患者能够在肺癌早期阶段发现患病并采取相应治疗。有证据表明,对肺癌高危人群每年按时进行肺部计算机断层扫描(CT)来筛查肺部健康状况,可以降低20%的肺癌死亡率。
肺部的结节往往与肺癌有着一定的联系。当在肺部CT影像中发现存在结节时,需要引起被检测者的注意,并给予充分的重视并积极进行进一步检测、治疗。同时,及早发现肺部的结节可以极大提高治愈的可能性,因此,通过CT影像检测肺部结节的存在情况对于肺癌的早期筛查有着重大的意义。
现行的临床方法对于肺部结节的检测多是利用CT机来获得整个肺部的平面灰度断层影像即CT影像,再通过专业的医疗人员人工完成肺部结节的检测工作,筛选出肺部结节影像。这样的传统方式多存在工作量大、耗时长、易出错遗漏等问题,筛选的结果也多依赖于医疗人员个人的专业技术水平。
发明内容
本发明的目的在于克服现有技术的不足,提出一种基于3D卷积神经网络的肺部结节自动检测系统,以降低医疗人员的工作量,节约医疗人员的工作时间,使得肺部结节的检测更加便捷高效,同时提高检测准确率。
为实现上述发明目的,本发明基于3D卷积神经网络的肺部结节自动检测系统,其特征在于,包括
用于候选肺部结节检测的3D卷积神经网络训练集、、第一归一化处理模块、用于候选肺部结节检测的3D卷积神经网络、用于假阳性肺部结节筛除的3D卷积神经网络训练集、第二归一化处理模块、用于假阳性肺部结节筛除的3D卷积神经网络;
所述用于候选肺部结节检测的3D卷积神经网络训练集为一定数量的尺寸大小为16x16x10的肺部局部CT影像,其中包含正常的肺部组织,也包含含有结节的异常肺部组织,包含正常肺部组织的CT影像记作‘0’,含有结节的异常肺部组织CT影像记作‘1’;
所述第一归一化处理模块对用于候选肺部结节检测的3D卷积神经网络训练集中的所有CT影像进行归一化处理:
其中x为CT影像中的像素点像素值,xmin为CT影像像素点中的最小像素值,xmax为CT影像像素点中的最大像素值,norm(x)为归一化后像素点像素值;
CT影像中所有像素点都经过公式(1)的处理后,得到归一化的CT影像,所有归一化的CT影像送入用于候选肺部结节检测的3D卷积神经网络中;
所述用于候选肺部结节检测的3D卷积神经网络,包括六层:
第1层为卷积层,记作C1层,使用64个大小为5x5x3的卷积核,以步长为1做卷积;C1层输入数据为16x16x10大小的CT影像,则C1层输出数据为64个12x12x8大小的特征图;
第2层为池化层,记作M1层,对C1层输出数据以步长为2,非重叠地做2x2x2的最大池化操作;M1层输入数据为64个12x12x8大小的特征图,则M1层输出数据为64个6x6x4大小的特征图;
第3层为卷积层,记作C2层,使用64个大小为3x3x3的卷积核,以步长为1对M1层输出数据做卷积;C2层输入数据为64个6x6x4大小的特征图,则C2层输出数据为64个4x4x2大小的特征图;
第4层为卷积层,记作C3层,使用64个大小为3x3x1的卷积核,以步长为1对C2层输出数据做卷积,C3层输入数据为64个4x4x2大小的特征图,则C3层输出数据为64个2x2x2大小的特征图;
在C1、C2以及C3层中,采用的激活函数为修正线性单元ReLu:
其中,y表示激活函数的输入,Relu(y)为激活函数的输出;
第5层为全连接层,记作FC1层,共有150个神经元,每个神经元与C3层输出的64个2x2x2大小的特征图进行全连接;FC1层输入数据为64个2x2x2大小的特征图,则FC1层输出数据为一个150维大小的向量;其中,采用的激活函数为tanh函数:
其中,z表示激活函数的输入,tanh(z)为激活函数的输出;
第6层为全连接层,记作FC2层,共有2个神经元即0或者1,每个神经元与FC1层输出的150维大小的向量进行全连接;FC2层输入数据为一个150维大小的向量,则FC2层输出数据为一个2维大小的向量,分别表示属于类别0的概率和属于类别1的概率;其中,采用的激活函数为sigmoid函数:
其中,u表示激活函数的输入,sigmoid(u)为激活函数的输出;
来自用于候选肺部结节检测的3D卷积神经网络训练集的所有归一化的CT影像作为用于候选肺部结节检测的3D卷积神经网络的输入数据,对其进行训练;
所述用于假阳性肺部结节筛除的3D卷积神经网络训练集由两部分组成:一部分是尺寸大小为16x16x10的含有结节的异常肺部组织的CT影像,标记为“1”;另一部分是尺寸大小为16x16x10的包含正常肺部组织的CT影像送入训练得到的用于候选结节检测的3D卷积神经网络进行检测,被判断为含有结节的异常肺部组织的CT影像,并标记为“0”;
所述第二归一化处理模块对用于假阳性肺部结节筛除的3D卷积神经网络训练集中的所有CT影像按照公式(1)进行归一化处理;
所述用于假阳性肺部结节筛除的3D卷积神经网络,包括六层:
第1层为卷积层,记作C1层,使用32个大小为5x5x3的卷积核,以步长为1做卷积;C1层输入数据为16x16x10大小的CT影像,则C1层输出数据为32个12x12x8大小的特征图;
第2层为池化层,记作M1层,对C1层输出数据以步长为2,非重叠地做2x2x2的最大池化操作;M1层输入数据为32个12x12x8大小的特征图,则M1层输出数据为32个6x6x4大小的特征图;
第3层为卷积层,记作C2层,使用64个大小为3x3x3的卷积核,以步长为1对M1层输出数据做卷积;C2层输入数据为32个6x6x4大小的特征图,则C2层输出数据为64个4x4x2大小的特征图;
在C1、C2层中,采用的激活函数为修正线性单元ReLu:
其中,y表示激活函数的输入,Relu(y)为激活函数的输出;
第4层为全连接层,记作FC1层,共有500个神经元,每个神经元与C2层输出的64个2x2x2大小的特征图进行全连接,FC1层输入数据为64个2x2x2大小的特征图,则FC1层输出数据为一个500维大小的向量;
第5层为全连接层,记作FC2层,共有100个神经元,每个神经元与FC1层输出的500维的向量进行全连接;FC2层输入数据为一个500维大小的向量,则FC2层输出数据为一个100维大小的向量;
在FC1、FC2层中,采用的激活函数为tanh函数:
其中,z表示激活函数的输入,tanh(z)为激活函数的输出;
第6层为全连接层,记作FC3层,共有2个神经元即0或者1,每个神经元与FC2层输出的100维大小的向量进行全连接;FC3层输入数据为一个100维大小的向量,则FC3层输出数据为一个2维大小的向量,分别表示属于类别0的概率和属于类别1的概率;其中,采用的激活函数为sigmoid函数:
将归一化后的用于假阳性肺部结节筛除的3D卷积神经网络训练集中的CT影像作为用于假阳性肺部结节筛选的3D卷积神经网络的输入数据,对其进行训练;
将整幅肺部CT影像以步长为1,分割成尺寸为16x16x10的肺部局部CT影像,送入训练得到的用于候选肺部结节检测的3D卷积神经网络中,检测完成后记录下输出的每个肺部局部CT影像属于类别1概率,得到一个三维概率矩阵;设定阈值Thr1,阈值的范围为0.6到0.7,找出三维概率矩阵中所有大于阈值Thr1的位置点,则该位置点对应的肺部局部CT影像被判定为疑似肺部结节,作为候选肺部结节CT影像记录下来;
将候选肺部结节CT影像送入训练得到的用于假阳性肺部结节筛除的3D卷积神经网络中,筛选完成后记录下输出的每个候选肺部结节CT影像属于类别1概率;设定阈值Thr2,阈值的范围为0.6到0.7,如果候选肺部结节CT影像属于类别1概率大于阈值Thr2,则认为对应位置点存在肺部结节,否则认为为正常的肺部组织。
本发明的目的是这样实现的。
本发明提出了一种基于3D卷积神经网络(简称:3D CNN)的肺部结节自动检测系统,本发明创新性地将检测分为两大阶段:(1)候选肺部结节检测阶段和(2)假阳性肺部结节筛除阶段,同时,每个阶段都会构建并训练出一个独特的3D CNN,以适用肺部结节的检测和筛除;通过第一阶段的3D CNN可以初步检测出疑似肺部结节的候选肺部结节位置,再利用第二阶段的3D CNN滤除掉候选结节中的假阳性肺部(即被判定为异常结节,但实际上是正常的肺部组织)结节,最终找出整幅肺部CT影像中所有存在的结节位置。
利用本发明可以自动地检测出一副肺部CT影像中结节的存在情况,与传统的依赖人工的结节检测方式相比较,本发明具有检测准确率高、健壮性强、高效、耗时短等特点。同时,可以降低医疗人员的工作量,节约医疗人员的工作时间,使得肺部结节的检测更加便捷、有效。
附图说明
图1是本发明基于3D卷积神经网络的肺部结节自动检测系统检测流程示意图;
图2是本发明基于3D卷积神经网络的肺部结节自动检测系统中第一阶段中构建的3D卷积神经网络的结构示意图;
图3是经过第一阶段即候选肺部结节检测后得到其中的四张肺部CT影像中候选肺部结节位置图;
图4是本发明基于3D卷积神经网络的肺部结节自动检测系统中第二阶段中构建的3D卷积神经网络的结构示意图;
图5是经过第二阶段即假阳性肺部结节筛出后得到其中的四张肺部CT影像中肺部结节位置图;
图6是第一阶段检测结果、第二阶段筛选结果对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
本发明的主要目的在于利用当前先进的深度学习技术,提供一种准确的在肺部CT影像中自动检测并找到结节的位置,使得计算机辅助诊断可以在肺部结节检测中发挥重要的作用。
图1是本发明基于3D卷积神经网络的肺部结节自动检测系统检测流程示意图。
本发明通过级联的两个阶段来实现高效、准确地检测肺部结节。在本实施例中,如图1所示,本发明基于3D卷积神经网络的肺部结节自动检测系统检测包括两个阶段分别为:(1)候选肺部结节检测阶段和(2)假阳性肺部结节筛除阶段。下面对两个阶段进行详细说明。
一、候选肺部结节检测阶段
为了实现候选肺部结节检测,需要构建并训练一个用于候选肺部结节检测的3D卷积神经网络。为此,首先需要构建一个训练集。收集一定数量的尺寸大小为16x16x10的肺部局部的CT影像作为训练集,其中包含正常的肺部组织,也包含了含有结节的异常肺部组织,包含正常肺部组织的CT影像记作‘0’,含有结节的异常肺部组织CT影像记作‘1’。
对训练集中的所有CT影像进行归一化处理,得到归一化的CT影像。
选取的肺部局部CT影像的尺寸大小为16x16x10,一方面是适用于肺部结节的自动检测,另一方面也适用于后续的3D CNN。
其次,需要构建一个用于候选肺部结节检测的3D卷积神经网络,该3D卷积神经网络的结构如表1所示,其结构图如图2所示。
表1
最后,需要对构建的用于候选肺部结节检测的3D卷积神经网络进行训练。将归一化后的3D CNN训练集中的CT影像作为构建的用于假阳性肺部结节筛选的3D卷积神经网络的输入数据,对其进行训练。训练完成后,得到该3D卷积神经网络的各项参数。
在本实施例中,将尺寸大小为512x512x148整幅肺部CT影像即148张512x512的CT影像以步长为1,分割成尺寸为16x16x10的肺部局部CT影像,送入训练好的用于候选肺部结节检测的3D卷积神经网络中,检测完成后记录下输出的每个肺部局部CT影像属于类别1概率,得到一个尺寸大小为497x497x139的三维概率矩阵。
设定阈值Thr1为0.65,找出三维概率矩阵中所有大于阈值Thr1的位置点,则该位置点对应(映射)的肺部局部CT影像被判定为疑似肺部结节,并作为候选肺部结节CT影像记录下来。在本实施例中,如图3所示,四张即(a)、(b)、(c)、(d)肺部CT影像中白色小方块处为候选肺部结节位置。
二、假阳性肺部结节筛除阶段
为了实现假阳性肺部结节筛除,需要构建并训练一个用于假阳性肺部结节筛除的3D卷积神经网络。为此,首先需要再构建一个训练集。训练集主要由两部分组成:一部分是尺寸大小为16x16x10的含有结节的异常肺部组织的CT影像,标记为“1”;另一部分是尺寸大小为16x16x10的包含正常肺部组织的CT影像经过构建并训练得到的用于候选结节检测的3D卷积神经网络的检测,被判断为含有结节的异常肺部组织的CT影像,并标记为“0”。同样,需要对训练集中的所有CT影像进行归一化处理。
其次,需要构建一个用于假阳性肺部结节筛除的3D卷积神经网络,该3D卷积神经网络的结构如表2所示,其结构图如图4所示。
表2
最后,需要对构建的用于假阳性肺部结节筛除的3D卷积神经网络。将得到的归一化后的3D CNN训练集中的CT影像作为构建的用于假阳性肺部结节筛选的3D卷积神经网络的输入数据,对其进行训练。训练完成后,得到该3D卷积神经网络的各项参数。
将第一阶段计算得到的大小为16x16x10的候选肺部结节CT影像送入第二阶段训练好的用于假阳性肺部结节筛选的3D卷积神经网络中,经过该3D卷积神经网络筛选,输出每个候选肺部结节CT影像的最终判定结果,即排除掉候选结节位置中假阳性的结节位置。在本实施例中,如图5所示,四张即(a)、(b)、(c)、(d)肺部CT影像中白色小方块处为肺部结节位置。在本实施例中,阈值Thr2=0.65。
图6是第一阶段检测结果、第二阶段筛选结果对比图。其中,第一行四张肺部CT影像为第一阶段检测出的候选肺部结节位置,第二行四张肺部CT影像为同样第二阶段假阳性肺部结节后的最终结果即位置。从图6中,我们可以看出,最终结果比候选肺部结节少,其中第一张少了5个(从6个减少到1个)、第二张少了2个(从3个减少到1个)、第三张少了4个(从5个减少到1个)、第四张少了5个(从6个减少到1个)。
本发明采用3D卷积神经网络,通过级联在一起的两大步骤:(1)候选肺部结节检测和(2)假阳性肺部结节筛除,来自动检测肺部存在结节的位置,具有高效性、准确性、健壮性的特点。本发明所提出的通过级联的两个阶段来完成结节的检测又进一步提升了检测结节的准确性。整个自动检测具有高度的准确性,使得将计算机用于医疗影像领域做辅助检测成为可能。不但提高了诊断的准确性,又降低了医护人员的工作量。具有较高的现实意义和社会价值。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (2)
1.一种基于3D卷积神经网络的肺部结节自动检测系统,其特征在于,包括:用于候选肺部结节检测的3D卷积神经网络训练集、第一归一化处理模块、用于候选肺部结节检测的3D卷积神经网络、用于假阳性肺部结节筛除的3D卷积神经网络训练集、第二归一化处理模块、用于假阳性肺部结节筛除的3D卷积神经网络;
所述用于候选肺部结节检测的3D卷积神经网络训练集为一定数量的尺寸大小为16x16x10的肺部局部CT影像,其中包含正常的肺部组织,也包含含有结节的异常肺部组织,包含正常肺部组织的CT影像记作‘0’,含有结节的异常肺部组织CT影像记作‘1’;
所述第一归一化处理模块对用于候选肺部结节检测的3D卷积神经网络训练集中的所有CT影像进行归一化处理:
其中x为CT影像中的像素点像素值,xmin为CT影像像素点中的最小像素值,xmax为CT影像像素点中的最大像素值,norm(x)为归一化后像素点像素值;
CT影像中所有像素点都经过公式(1)的处理后,得到归一化的CT影像,所有归一化的CT影像送入用于候选肺部结节检测的3D卷积神经网络中
所述用于候选肺部结节检测的3D卷积神经网络,包括六层:
第1层为卷积层,记作C1层,使用64个大小为5x5x3的卷积核,以步长为1做卷积;C1层输入数据为16x16x10大小的CT影像,则C1层输出数据为64个12x12x8大小的特征图;
第2层为池化层,记作M1层,对C1层输出数据以步长为2,非重叠地做2x2x2的最大池化操作;M1层输入数据为64个12x12x8大小的特征图,则M1层输出数据为64个6x6x4大小的特征图;
第3层为卷积层,记作C2层,使用64个大小为3x3x3的卷积核,以步长为1对M1层输出数据做卷积;C2层输入数据为64个6x6x4大小的特征图,则C2层输出数据为64个4x4x2大小的特征;
第4层为卷积层,记作C3层,使用64个大小为3x3x1的卷积核,以步长为1对C2层输出数据做卷积,C3层输入数据为64个4x4x2大小的特征图,则C3层输出数据为64个2x2x2大小的特征图;
在C1、C2以及C3层中,采用的激活函数为修正线性单元ReLu:
其中,y表示激活函数的输入,Relu(y)为激活函数的输出;
第5层为全连接层,记作FC1层,共有150个神经元,每个神经元与C3层输出的64个2x2x2大小的特征图进行全连接;FC1层输入数据为64个2x2x2大小的特征图,则FC1层输出数据为一个150维大小的向量;其中,采用的激活函数为tanh函数:
其中,z表示激活函数的输入,tanh(z)为激活函数的输出;
第6层为全连接层,记作FC2层,共有2个神经元即0或者1,每个神经元与FC1层输出的150维大小的向量进行全连接;FC2层输入数据为一个150维大小的向量,则FC2层输出数据为一个2维大小的向量,分别表示属于类别0的概率和属于类别1的概率;其中,采用的激活函数为sigmoid函数:
其中,u表示激活函数的输入,sigmoid(u)为激活函数的输出;
来自用于候选肺部结节检测的3D卷积神经网络训练集的所有归一化的CT影像作为用于候选肺部结节检测的3D卷积神经网络的输入数据,对其进行训练;
所述用于假阳性肺部结节筛除的3D卷积神经网络训练集由两部分组成:一部分是尺寸大小为16x16x10的含有结节的异常肺部组织的CT影像,标记为“1”;另一部分是尺寸大小为16x16x10的包含正常肺部组织的CT影像送入训练得到的用于候选结节检测的3D卷积神经网络进行检测,被判断为含有结节的异常肺部组织的CT影像,并标记为“0”;
所述第二归一化处理模块对用于假阳性肺部结节筛除的3D卷积神经网络训练集中的所有CT影像按公式(1)进行归一化处理;
所述用于假阳性肺部结节筛除的3D卷积神经网络,包括六层:
第1层为卷积层,记作C1层,使用32个大小为5x5x3的卷积核,以步长为1做卷积;C1层输入数据为16x16x10大小的CT影像,则C1层输出数据为32个12x12x8大小的特征图;
第2层为池化层,记作M1层,对C1层输出数据以步长为2,非重叠地做2x2x2的最大池化操作;M1层输入数据为32个12x12x8大小的特征图,则M1层输出数据为32个6x6x4大小的特征图;
第3层为卷积层,记作C2层,使用64个大小为3x3x3的卷积核,以步长为1对M1层输出数据做卷积;C2层输入数据为32个6x6x4大小的特征图,则C2层输出数据为64个4x4x2大小的特征图;
在C1、C2层中,采用的激活函数为修正线性单元ReLu:
其中,y表示激活函数的输入,Relu(y)为激活函数的输出;
第4层为全连接层,记作FC1层,共有500个神经元,每个神经元与C2层输出的64个2x2x2大小的特征图进行全连接,FC1层输入数据为64个2x2x2大小的特征图,则FC1层输出数据为一个500维大小的向量;
第5层为全连接层,记作FC2层,共有100个神经元,每个神经元与FC1层输出的500维的向量进行全连接;FC2层输入数据为一个500维大小的向量,则FC2层输出数据为一个100维大小的向量;
在FC1、FC2层中,采用的激活函数为tanh函数:
其中,z表示激活函数的输入,tanh(z)为激活函数的输出;
第6层为全连接层,记作FC3层,共有2个神经元即0或者1,每个神经元与FC2层输出的100维大小的向量进行全连接;FC3层输入数据为一个100维大小的向量,则FC3层输出数据为一个2维大小的向量,分别表示属于类别0的概率和属于类别1的概率;其中,采用的激活函数为sigmoid函数:
将归一化后的用于假阳性肺部结节筛除的3D卷积神经网络训练集中的CT影像作为用于假阳性肺部结节筛选的3D卷积神经网络的输入数据,对其进行训练;
将整幅肺部CT影像以步长为1,分割成尺寸为16x16x10的肺部局部CT影像,送入训练得到的用于候选肺部结节检测的3D卷积神经网络中,检测完成后记录下输出的每个肺部局部CT影像属于类别1概率,得到一个三维概率矩阵;设定阈值Thr1,阈值的范围为0.6到0.7,找出三维概率矩阵中所有大于阈值Thr1的位置点,则该位置点对应的肺部局部CT影像被判定为疑似肺部结节,作为候选肺部结节CT影像记录下来;
将候选肺部结节CT影像送入训练得到的用于假阳性肺部结节筛除的3D卷积神经网络中,筛选完成后记录下输出的每个候选肺部结节CT影像属于类别1概率;设定阈值Thr2,阈值的范围为0.6到0.7,如果候选肺部结节CT影像属于类别1概率大于阈值Thr2,则认为对应位置点存在肺部结节,否则认为为正常的肺部组织。
2.根据权利要求1所述的基于3D卷积神经网络的肺部结节自动检测系统,其特征在于,所述的阈值Thr1、阈值Thr2均为0.65。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610899135.5A CN106504232B (zh) | 2016-10-14 | 2016-10-14 | 一种基于3d卷积神经网络的肺部结节自动检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610899135.5A CN106504232B (zh) | 2016-10-14 | 2016-10-14 | 一种基于3d卷积神经网络的肺部结节自动检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106504232A CN106504232A (zh) | 2017-03-15 |
CN106504232B true CN106504232B (zh) | 2019-06-14 |
Family
ID=58295017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610899135.5A Expired - Fee Related CN106504232B (zh) | 2016-10-14 | 2016-10-14 | 一种基于3d卷积神经网络的肺部结节自动检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106504232B (zh) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106940816B (zh) * | 2017-03-22 | 2020-06-09 | 杭州健培科技有限公司 | 基于3d全卷积神经网络的ct图像肺结节检测系统 |
CN107154043B (zh) * | 2017-06-05 | 2020-03-24 | 杭州健培科技有限公司 | 一种基于3dcnn的肺结节假阳性样本抑制方法 |
CN107301640A (zh) * | 2017-06-19 | 2017-10-27 | 太原理工大学 | 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法 |
CN107274402A (zh) * | 2017-06-27 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种基于胸部ct影像的肺结节自动检测方法及系统 |
CN107358611A (zh) * | 2017-06-28 | 2017-11-17 | 南京信息工程大学 | 一种全景扫描病理图像转移区域的自动分割方法 |
CN107464234B (zh) * | 2017-07-24 | 2020-09-01 | 上海交通大学 | 基于rgb通道叠加方法的肺结节图像深度学习识别系统及其方法 |
CN107590797B (zh) * | 2017-07-26 | 2020-10-30 | 浙江工业大学 | 一种基于三维残差神经网络的ct影像肺结节检测方法 |
CN107578402A (zh) * | 2017-08-04 | 2018-01-12 | 上海斐讯数据通信技术有限公司 | 一种基于深度学习的肺部结节的检测系统及其使用方法 |
CN107292884B (zh) * | 2017-08-07 | 2020-09-29 | 杭州深睿博联科技有限公司 | 一种识别mri图像中水肿和血肿的方法及装置 |
CN107274406A (zh) * | 2017-08-07 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种检测敏感区域的方法及装置 |
CN107424152B (zh) * | 2017-08-11 | 2020-12-18 | 联想(北京)有限公司 | 器官病变的检测装置、训练神经元网络的方法和电子设备 |
CN107578405A (zh) * | 2017-08-30 | 2018-01-12 | 北京网医智捷科技有限公司 | 一种基于深度卷积神经网络的肺部结节自动检测方法 |
CN107563434B (zh) * | 2017-08-30 | 2020-12-15 | 山东大学 | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 |
KR102477404B1 (ko) * | 2017-08-31 | 2022-12-13 | 캠브리콘 테크놀로지스 코퍼레이션 리미티드 | 칩 장치 및 관련 제품 |
CN107680678B (zh) * | 2017-10-18 | 2020-12-01 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节诊断系统 |
CN108133476B (zh) * | 2017-12-26 | 2022-02-01 | 安徽科大讯飞医疗信息技术有限公司 | 一种肺结节自动检测方法及系统 |
CN108171694B (zh) * | 2017-12-28 | 2021-05-14 | 开立生物医疗科技(武汉)有限公司 | 基于卷积神经网络的结节检测方法、系统及设备 |
CN108257674A (zh) * | 2018-01-24 | 2018-07-06 | 龙马智芯(珠海横琴)科技有限公司 | 疾病预测方法和装置、设备、计算机可读存储介质 |
CN108288496A (zh) * | 2018-01-26 | 2018-07-17 | 中国人民解放军总医院 | 肿瘤容积智能勾画方法和装置 |
CN108447046B (zh) * | 2018-02-05 | 2019-07-26 | 龙马智芯(珠海横琴)科技有限公司 | 病灶的检测方法和装置、计算机可读存储介质 |
CN108446730B (zh) * | 2018-03-16 | 2021-05-28 | 推想医疗科技股份有限公司 | 一种基于深度学习的ct肺结节检测装置 |
CN108648172B (zh) * | 2018-03-30 | 2021-08-03 | 四川元匠科技有限公司 | 一种基于3D-Unet的CT图肺结节检测系统 |
CN108717700B (zh) * | 2018-04-09 | 2021-11-30 | 杭州依图医疗技术有限公司 | 一种检测结节长短径长度的方法及装置 |
CN108648178A (zh) * | 2018-04-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种影像结节检测的方法及装置 |
CN108765369B (zh) * | 2018-04-20 | 2023-05-02 | 平安科技(深圳)有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
CN108830826B (zh) * | 2018-04-28 | 2020-10-20 | 四川大学 | 一种检测肺结节的系统及方法 |
CN108765409A (zh) * | 2018-06-01 | 2018-11-06 | 电子科技大学 | 一种基于ct图像的候选结节的筛选方法 |
CN109102502B (zh) * | 2018-08-03 | 2021-07-23 | 西北工业大学 | 基于三维卷积神经网络的肺结节检测方法 |
CN109447960A (zh) * | 2018-10-18 | 2019-03-08 | 神州数码医疗科技股份有限公司 | 一种对象识别方法和装置 |
CN109544534B (zh) | 2018-11-26 | 2020-10-16 | 上海联影智能医疗科技有限公司 | 一种病灶图像检测装置、方法和计算机可读存储介质 |
CN109636808B (zh) * | 2018-11-27 | 2022-08-12 | 杭州健培科技有限公司 | 一种基于全卷积神经网络的肺叶分割方法 |
CN109671055B (zh) * | 2018-11-27 | 2021-04-02 | 杭州深睿博联科技有限公司 | 肺结节检测方法及装置 |
CN109544550B (zh) * | 2018-12-05 | 2021-10-22 | 易必祥 | 基于ct影像智能检测和识别方法及系统 |
CN109978004B (zh) * | 2019-02-21 | 2024-03-29 | 平安科技(深圳)有限公司 | 图像识别方法及相关设备 |
CN110070527A (zh) * | 2019-04-18 | 2019-07-30 | 成都雷熵科技有限公司 | 一种基于区域全连接神经网络病灶检测方法 |
CN110533637B (zh) * | 2019-08-02 | 2022-02-11 | 杭州依图医疗技术有限公司 | 一种检测对象的方法及装置 |
US11200976B2 (en) | 2019-08-23 | 2021-12-14 | Canon Medical Systems Corporation | Tracking method and apparatus |
CN111462102B (zh) * | 2020-04-07 | 2023-11-14 | 广州柏视医疗科技有限公司 | 基于新型冠状病毒肺炎x射线胸片的智能分析系统及方法 |
CN111814832A (zh) * | 2020-06-11 | 2020-10-23 | 上海联影智能医疗科技有限公司 | 一种目标检测方法、装置及存储介质 |
CN114841951A (zh) * | 2022-04-28 | 2022-08-02 | 浙江卡易智慧医疗科技有限公司 | 一种胸部ct序列多病种综合检查系统及方法 |
CN115984251B (zh) * | 2023-02-14 | 2023-05-09 | 成都泰莱生物科技有限公司 | 基于肺部ct与多基因甲基化的肺结节分类方法及产品 |
CN116703867B (zh) * | 2023-06-09 | 2023-12-08 | 太原理工大学 | 残差网络与通道注意力协同驱动下的基因突变预测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700118A (zh) * | 2015-03-18 | 2015-06-10 | 中国科学院自动化研究所 | 基于卷积神经网络的肺结节良恶性预测方法 |
CN104992430A (zh) * | 2015-04-14 | 2015-10-21 | 杭州奥视图像技术有限公司 | 基于卷积神经网络的全自动的三维肝脏分割方法 |
CN105069791A (zh) * | 2015-08-07 | 2015-11-18 | 哈尔滨工业大学 | 一种从肺ct图像中分割出肺结节图像的处理方法 |
CN105469419A (zh) * | 2016-01-07 | 2016-04-06 | 于翠妮 | 一种基于ct影像的肺结节检测方法 |
CN105825509A (zh) * | 2016-03-17 | 2016-08-03 | 电子科技大学 | 基于3d卷积神经网络的脑血管分割方法 |
-
2016
- 2016-10-14 CN CN201610899135.5A patent/CN106504232B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700118A (zh) * | 2015-03-18 | 2015-06-10 | 中国科学院自动化研究所 | 基于卷积神经网络的肺结节良恶性预测方法 |
CN104992430A (zh) * | 2015-04-14 | 2015-10-21 | 杭州奥视图像技术有限公司 | 基于卷积神经网络的全自动的三维肝脏分割方法 |
CN105069791A (zh) * | 2015-08-07 | 2015-11-18 | 哈尔滨工业大学 | 一种从肺ct图像中分割出肺结节图像的处理方法 |
CN105469419A (zh) * | 2016-01-07 | 2016-04-06 | 于翠妮 | 一种基于ct影像的肺结节检测方法 |
CN105825509A (zh) * | 2016-03-17 | 2016-08-03 | 电子科技大学 | 基于3d卷积神经网络的脑血管分割方法 |
Non-Patent Citations (4)
Title |
---|
Lung nodule detection using 3D Convolutional Neural Networks tranined on weakly labeled data;Rushil Anirudh 等;《SPIE medical imaging》;20160324;第1-6页 |
multilevel contextual 3D-CNNs for false positive reduction in pulmonary nodule detection;Qi Dou 等;《IEEE Transcactions on Biomedical Engineering》;20160926;第64卷(第7期);第1558-1567页 |
基于CT图像的肺结节计算机辅助检测方法研究;侯庆锋;《中国优秀硕士学位论文全文数据库-信息科技辑》;20120315(第3期);第I138-1894页 |
基于大规模训练神经网络的肺结节识别系统;贺家凯 等;《中国优秀硕士学位论文全文数据库-信息科技辑》;20140415(第4期);第I138-867页 |
Also Published As
Publication number | Publication date |
---|---|
CN106504232A (zh) | 2017-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106504232B (zh) | 一种基于3d卷积神经网络的肺部结节自动检测系统 | |
CN110503654A (zh) | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 | |
CN108615237A (zh) | 一种肺部图像处理方法及图像处理设备 | |
Wang et al. | Deep convolutional neural network for ulcer recognition in wireless capsule endoscopy: experimental feasibility and optimization | |
CN108986073A (zh) | 一种基于改进的Faster R-CNN框架的CT图像肺结节检测方法 | |
JP6525912B2 (ja) | 画像分類装置、方法およびプログラム | |
Rimi et al. | Derm-NN: skin diseases detection using convolutional neural network | |
Elmuogy et al. | An efficient technique for CT scan images classification of COVID-19 | |
CN110197492A (zh) | 一种心脏mri左心室分割方法及系统 | |
CN109492547B (zh) | 一种结节识别方法、装置和存储介质 | |
CN112750117B (zh) | 一种基于卷积神经网络的血液细胞图像检测与计数方法 | |
CN107578405A (zh) | 一种基于深度卷积神经网络的肺部结节自动检测方法 | |
Pant et al. | Pneumonia detection: An efficient approach using deep learning | |
CN109919212A (zh) | 消化道内镜影像中肿瘤的多尺度检测方法及装置 | |
Huang et al. | Graph-based pyramid global context reasoning with a saliency-aware projection for covid-19 lung infections segmentation | |
Li et al. | PNet: An efficient network for pneumonia detection | |
CN111724345A (zh) | 可自适应调节感受野大小的肺炎图片检定装置与方法 | |
Nafi’iyah et al. | Lung X-ray image enhancement to identify pneumonia with CNN | |
CN117710760B (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
Fu et al. | M3ResU-Net: a deep residual network for multi-center colorectal polyp segmentation based on multi-scale learning and attention mechanism | |
Li et al. | Deformation and refined features based lesion detection on chest X-ray | |
Li et al. | Automatic pulmonary vein and left atrium segmentation for TAPVC preoperative evaluation using V-net with grouped attention | |
Chen et al. | Pseudo-labeling for small lesion detection on diabetic retinopathy images | |
Lin et al. | Lesion detection of chest X-Ray based on scalable attention residual CNN | |
Al Amin et al. | Real-Time Detection of Face Mask Using Convolutional Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190614 |