CN110717916A - 一种基于卷积神经网络的肺栓塞检测系统 - Google Patents
一种基于卷积神经网络的肺栓塞检测系统 Download PDFInfo
- Publication number
- CN110717916A CN110717916A CN201910930769.6A CN201910930769A CN110717916A CN 110717916 A CN110717916 A CN 110717916A CN 201910930769 A CN201910930769 A CN 201910930769A CN 110717916 A CN110717916 A CN 110717916A
- Authority
- CN
- China
- Prior art keywords
- network
- pulmonary embolism
- candidate region
- convolutional neural
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000010378 Pulmonary Embolism Diseases 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 21
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims abstract description 16
- 238000002591 computed tomography Methods 0.000 claims abstract description 8
- 238000002588 pulmonary angiography Methods 0.000 claims abstract description 6
- 210000004204 blood vessel Anatomy 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 6
- 230000002685 pulmonary effect Effects 0.000 claims description 5
- 208000005189 Embolism Diseases 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- GMOGICAFJFPMNS-UHFFFAOYSA-N 4-(1,4,8,11-tetrazacyclotetradec-1-ylmethyl)benzoic acid Chemical compound C1=CC(C(=O)O)=CC=C1CN1CCNCCCNCCNCCC1 GMOGICAFJFPMNS-UHFFFAOYSA-N 0.000 claims 3
- BTCSSZJGUNDROE-UHFFFAOYSA-N gamma-aminobutyric acid Chemical compound NCCCC(O)=O BTCSSZJGUNDROE-UHFFFAOYSA-N 0.000 claims 1
- 238000002372 labelling Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 22
- 230000000694 effects Effects 0.000 abstract description 6
- 238000009825 accumulation Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- RPNMGUBLKCLAEK-UHFFFAOYSA-N 2-(4-chlorophenyl)sulfanyl-n,n-diethylethanamine;hydrochloride Chemical compound [Cl-].CC[NH+](CC)CCSC1=CC=C(Cl)C=C1 RPNMGUBLKCLAEK-UHFFFAOYSA-N 0.000 description 2
- 101100243399 Caenorhabditis elegans pept-2 gene Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000010102 embolization Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T3/147—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Abstract
本发明公开了一种基于卷积神经网络的肺栓塞检测系统，包括：候选区域提取网络是一个使用了带有跳跃连接的自动编码解码的全卷积网络，对待检测计算机断层扫描肺血管造影图像进行候选区域提取，得到多个不同大小的假阳性候选区域；3D仿射变换网络，用于从多个不同大小的假阳性候选区域中产生血管对齐的、大小固定的立方体并取出它们三个正交层；假阳预测筛查网络，将所述三个正交层输入到一个包含2个全连接层的2D分类网络进行假阳预测筛查。本发明方法可以解决误差累积的问题；能自动抽取更具有辨别力的3D图像特征，减少了容积效应的影响，并且不依赖与研究者的经验；在保证召回率的同时提高了准确率。
Description
技术领域
本发明属于计算机技术领域，更具体地，涉及一种基于卷积神经网络的肺栓塞检测系统。
背景技术
计算机断层扫描肺血管造影(Computed Tomography Pulmonary Arteriography，CTPA)是当今临床实践中诊断肺栓塞的主要手段。但是，对于可疑的肺栓塞，追踪300-500个切片的肺动脉是非常耗时的，而且诊断结果会受到放射科医生的经验、注意力范围和疲劳程度等的影响。因此在临床实践中，为了提高肺栓塞的诊断准确性和效率，一些自动检测方法被提出来。现有方法通常包括两个独立的步骤：(1)基于体素级特征生成一组肺栓塞候选区域)；(2)提取疑似点的区域级特征，并基于分类器消除假阳预测。
例如，论文(Masutani,Y.,et al.:Computerized detection of pulmonaryembolism in spiral ct angiography based on volumetric image analysis.IEEETransactions on Medical Imaging 21(12),1517-1523(2002))提取基于CT(计算机断层扫描，Computed Tomography)值、局部对比度和二阶导数的手工特征来用于候选区域检测。然后提取体积、有效长度和分组体素的平均局部对比度来用于假阳预测筛查。然而，这样的方法所使用的手工设计的特征很难完美地表达出肺栓塞的特征。
近几年，随着深度卷积神经网络(Convolutional Neural Networks，CNN)的发展，论文(Tajbakhsh,N.,et al.:Computer-aided pulmonary embolism detection using anovel vessel-aligned multi-planar image representation and convolutionalneural networks.In:International Conference on Medical Image Computing andComputerAssisted Intervention.pp.62-69.Springer(2015))研究了CNN在消除假阳预测方面的可行性，该论文提出了一种新颖的血管对齐多平面图像表达方法，并使用CNN进行分类，实验证明了它在区分肺栓塞和假阳预测任务中的鲁棒性和有效性。虽然取得了一定效果，但是该系统依然存在以下问题：第一步用于产生候选区域的方案依然是使用手工设计的特征；肺栓塞检测的两步彼此独立，没有考虑到另一步的性能对该步骤的影响；为了达到可接受的召回率，它会产生大量的假阳性结果。
发明内容
本发明要解决的问题是利用卷积神经网络改进手工特征难以完美表达肺栓塞特征的问题，并实现一个可以端到端地训练的肺栓塞检测系统。该系统第一次把候选区域检测和假阳预测筛查整合起来进行联合优化。
为了实现上述目的，本发明提供了一种基于卷积神经网络的肺栓塞检测系统，所述系统包括候选区域提取网络、3D仿射变换网络和假阳预测筛查网络，其中：
所述候选区域提取网络是一个使用了带有跳跃连接的自动编码解码的全卷积网络，其通过引入锚点来保证准确地检测不同大小的候选区域，通过所述候选区域提取网络对待检测计算机断层扫描肺血管造影图像进行候选区域提取，得到多个不同大小的假阳性候选区域；
所述3D仿射变换网络，用于从多个不同大小的假阳性候选区域中产生血管对齐的、大小固定的立方体并取出它们三个正交层；
所述假阳预测筛查网络，将所述3D仿射变换网络得到的三个正交层作为一张待检测计算机断层扫描肺血管造影图像的三个通道，输入到一个包含2个全连接层的2D分类网络进行假阳预测筛查，如果一个候选区域的中心落在了某个栓子中，就认为它是正类，反之认为它是负类。
本发明的一个实施例中，所述全卷积网络使用带有跳跃连接的自动编码解码网络，其中编码器的最开始是两个3D卷积层和一个最大池化层，然后使用了四个残差模块，在解码器中，使用了两个反卷积层和两个残差模块对特征图进行上采样，在编码器的最后两个残差模块和其对应的解码器中残差模块之间使用了跳跃连接。
本发明的一个实施例中，在输入候选区域提取网络之前，把整个计算机断层扫描肺血管造影CTPA分为大小为96×96×96的重叠的立方体，重叠区域为32体素值，所述立方体通过所述候选区域提取网络生成候选特征图。
本发明的一个实施例中，将每个立方体的位置信息封装为[3,24,24,24]的四维向量，与最后一层残差层输入在第一维度上进行连接，形成尺寸为[131,24,24,24]的特征图，输入到最后一层网络中，得到3D全卷积神经网络的最后输出特征图，尺寸为[128,24,24,24]。
本发明的一个实施例中，所述锚点被预先定义为三种不同的大小s＝10mm,30mm,60mm，并将锚点设置在所述候选特征图上，对于每个大小为s的锚点，需要回归五个值(Δxs,Δys,Δzs,Δds,ps)，其中(Δxs,Δys,Δzs)代表了候选区域相对锚点的偏移量，Δds表示候选区域相对于锚点的大小，ps表示该锚点包含肺栓塞的概率。
本发明的一个实施例中，在训练所述候选区域提取网络时，为每一个锚点标记标签：如果一个锚点和真实值中的某个肺栓塞的IoU大于0.5则标为正类，如果某个锚点和真实值中的肺栓塞的IoU小于0.02则标为负类，其它情况的锚点不用于训练。
本发明的一个实施例中，训练所述候选区域提取网络的目标函数为：
其中分类损失函数Lcls是二类交叉熵损失，回归损失函数Lreg为平滑L1损失函数，Ncls表示每次迭代的批样本数的大小，Nreg表示的是每次迭代中标签为正的锚点的数量，λ是权重系数，i代表每个批次中的第i个锚点，pi和
表示某个锚点包含肺栓塞的概率和真实值标签
ti和
表示预测的位置相对锚点的偏差，与真实值中肺栓塞相对锚点的偏差，包含四个值：
Δx＝(x-xa)/da,Δy＝(y-ya)/da
Δz＝(z-za)/da,Δd＝log(d/da)
(x,y,z,d)表示候选区域中心的预测坐标或者它的真实值坐标和边长，(xa,ya,za,da)表示的是锚点的坐标和边长。
本发明的一个实施例中，所述3D仿射变换网络从原始的CTPA和对应的特征图中截取出候选区域Cori和Cfeat，设置一个预设阈值对原图进行二值化，并对于Cori使用主成分分析来求出三个对应的特征向量(v1,v2,v3)和他们对应的特征值(λ1≥λ2≥λ3)，特征向量v1代表的就是血管延伸的方向，v2和v3代表的是血管横截面上两个正交的方向，并利用特征向量(v1,v2,v3)对Cfeat进行变换得到血管对齐的特征图C′feat。
本发明的一个实施例中，所述利用特征向量(v1,v2,v3)对Cfeat进行变换得到血管对齐的特征图C′feat为：
其中，(xt,yt,zt)和(xs,ys,zs)分别代表的是变换后的特征图C′feat和变换前的特征图Cfeat中的坐标，Aθ是仿射变换矩阵，(tx,ty,tz)代表候选区域的位置相对中心的偏移量，(sx,sy,sz)代表的是候选区域大小和CTPA大小的比例，其中e1＝[1,0,0]T,e2＝[0,1,0]T,e3＝[0,0,1]T。
本发明的一个实施例中，把血管对齐的特征图C′feat输入到3D感兴趣区域采样层，将不同大小的C′feat进行采样，获得一个固定大小的特征图来用于假阳预测筛查。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
(1)本发明提供了一个端到端训练的肺栓塞检测网络。通过端到端的梯度回传，可以使得模型达到全局最优解。相比于传统的多步骤处理框架，我们的方法解决了误差累积的问题；
(2)本发明提供了一个基于3D卷积神经网络的自动检测系统。相比于传统方法使用手工构建的图像特征，我们的方法通过神经网络自动抽取更具有辨别力的3D图像特征，减少了容积效应的影响，并且不依赖与研究者的经验。在不同中心、不同领域的泛化能力也强于传统方法；
(3)本发明提供的肺栓塞检测网络整合了候选区域检测、血管对齐图像表达的空间转换以及用于假阳预测筛选的分类阶段，基于“由粗到精”的思想，在保证召回率的同时提高了准确率，在PE-Challenge公共数据集上，我们的方法比当前最好方法性能提升了30.4％。对比单独的3D CNN网络，本发明的方法提升了7％。
附图说明
图1是本发明实施例中基于卷积神经网络的肺栓塞检测系统的结构示意图；
图2是本发明实施例中3D仿射变换的流程示意图；其中，图2(a)和图2(b)分别为仿射变换的前后结果，图2(c)为固定大小且经过血管方向对齐的特征图提取过程；
图3是本发明实施例中本发明方法和其他方法的预测效果示意图，其中图3(a)、图3(b)和图3(c)分别代表在0mm，2mm和5mm的允许误差下，在不同的平均假阳预测下的召回率，其中每个图中各种不同的线形分别代表Mevis,ASU-Mayo,UPM,BWH,LMNIT,FUM-Mvlab,UA-2D以及UA-2.5D方法。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，为本发明提供的基于卷积神经网络的肺栓塞检测系统的结构示意图，该系统主要有三个组成部分：候选区域提取网络，可导的3D仿射变换网络，假阳预测筛查网络。下面分别着重介绍三个网络：
1、候选区域提取网络
(1)本发明使用3D全卷积网络(Fully Convolutional Networks，FCN)来提取特征，这个全卷积网络使用了带有跳跃连接的自动编码-解码网络。具体而言，编码器的最开始是两个3D卷积层和一个最大池化层，然后使用了四个残差模块。在解码器中，使用了两个反卷积层和两个残差模块对特征图进行上采样。在编码器的最后两个残差模块和其对应的解码器中残差模块之间使用了跳跃连接。通常CTPA的大小为512×512×400，直接将其输入到神经网络会占用很大的内存，因此在训练过程中，本发明把整个CTPA分为大小为96×96×96的重叠的立方体，重叠区域为32体素值。所述立方体通过所述候选区域提取网络生成候选特征图。
位置信息通常对于肺栓塞的检测非常重要，因此本发明把位置信息封装为[3,24,24,24]的四维向量，与最后一层残差层输入在第一维度上进行连接，形成尺寸为[131,24,24,24]的特征图，输入到最后一层网络中，得到3D全卷积神经网络的最后输出特征图，尺寸为[128,24,24,24]。具体地说，制作一个尺寸为[3,24,24,24]的位置特征图，每个体素是一个三维特征，表示该位置在原始CTPA中的x,y,z坐标。然后将位置特征图与候选特征图这两个特征图在通道维度上拼接。
(2)在候选区域提取网络中，受启发于Faster-RCNN(S.Ren,K.He,R.Girshick,andJ.Sun,“Faster r-cnn:Towards real-time object detection with region proposalnetworks,”in Advances in neural information processing systems,2015,pp.91–99.)，本发明在候选区域提取网络中引入了锚点来保证准确地检测不同大小的候选区域。具体而言，锚点被预先定义为三种不同的大小(s＝10mm,30mm,60mm)，并将锚点设置在(1)中卷积神经网络运算后得到的特征图上。对于每个大小为s的锚点，本发明需要回归五个值(Δxs,Δys,Δzs,Δds,ps)。其中(Δxs,Δys,Δzs)代表了候选区域相对锚点的偏移量。Δds表示候选区域相对于锚点的大小，ps表示该锚点包含肺栓塞的概率。为了实现这五个数值的回归，本发明引入了5N(N为所有锚点数量)个1×1×1的卷积核来产生最终的特征图，每个体素代表
(Δxs,Δys,Δzs,Δds,ps),s∈{1,...,N}
(3)为了训练候选区域提取网络，本发明为每一个锚点(anchor)标记了标签：如果一个锚点和真实值中的某个肺栓塞的IoU(与真实值的交集除以并集)大于0.5，标为正类。如果某个锚点和真实值中的肺栓塞的IoU小于0.02，标为负类。其它情况的锚点不用于训练。训练候选区域提取网络的目标函数为：
它包含两个损失函数：分类损失函数Lcls是二类交叉熵损失，回归损失函数Lreg为平滑L1损失函数。Ncls表示每次迭代的批样本数的大小，Nreg表示的是每次迭代中标签为正的锚点的数量，λ是权重系数。在公式中，i代表每个批次中的第i个锚点。pi和
表示某个锚点包含肺栓塞的概率和真实值标签
ti和
表示预测的位置相对锚点的偏差，与真实值中肺栓塞相对锚点的偏差，包含四个值：
Δx＝(x-xa)/da,Δy＝(y-ya)/da
Δz＝(z-za)/da,Δd＝log(d/da)
(x,y,z,d)表示候选区域中心的预测坐标或者它的真实值坐标和边长，(xa,ya,za,da)表示的是锚点的坐标和边长。
本发明用在线困难样本挖掘来均衡训练阶段的难易样本。在每个批次中，本发明随机挑选M个负样本，按照他们的分类得分降序排列，分数最高的k个样本被认为是难样本，用于损失函数的计算，其它的不用于损失函数的计算。
2、3D仿射变换网络
为了达到一个令人满意的召回率，候选区域提取网络产生了大量的假阳性候选区域，为了筛查出这些假阳预测，本发明使用另外一个神经网络来对其进行分类。然而实际上栓塞在血管中变化很大，因此本发明沿用了(Tajbakhsh,N.,et al.:Computer-aidedpulmonary embolism detection using a novel vessel-aligned multi-planar imagerepresentation and convolutional neural networks.In:International Conferenceon Medical Image Computing and ComputerAssisted Intervention.pp.62-69.Springer(2015))提出的血管对齐的图像表达，它把候选区域中的血管对其到同一个方向来消除这种影响，然后从对齐的3D CTPA中取了三个正交层。受他们的方法的启发，本发明提出了一个3D仿射变换网络来从任意大小的候选区域中产生血管对齐的、大小固定的特征图并取出它们三个正交层。图2的(a)和(b)分别展示了变换之前和变换之后的三个正交层。
3D仿射变换的过程如图2(c)所示，具体来说，本发明从原始的CTPA和对应的特征图中截取出了候选区域(特征图相对原图的步长为4)Cori和Cfeat，然后设置一个阈值(70HU)对原图进行二值化，并对于Cori使用主成分分析(Principal Component Analysis，PCA)来求出三个对应的特征向量(v1,v2,v3)和他们对应的特征值(λ1≥λ2≥λ3)。特征向量v1代表的就是血管延伸的方向，v2和v3代表的是血管横截面上两个正交的方向。
并利用特征向量(v1,v2,v3)对Cfeat进行变换得到血管对齐的特征图C′feat。，具体变换使用如下的矩阵：
(xt,yt,zt)和(xs,ys,zs)分别代表的是变换后的特征图C′feat和变换前的特征图Cfeat中的坐标，Aθ是仿射变换矩阵，(tx,ty,tz)代表候选区域的位置相对中心的偏移量，(sx,sy,sz)代表的是候选区域大小和CTPA大小的比例，其中e1＝[1,0,0]T,e2＝[0,1,0]T,e3＝[0,0,1]T。
本发明接着把血管对齐的特征图输入到3D感兴趣区域采样层，将不同大小的C′feat进行采样，来获得一个固定大小的特征图来用于假阳预测筛查。
3、假阳预测筛查网络
本发明从第二个网络得到的固定大小的C′feat中取出其三个正交层作为一张图片的三个通道，接着把它输入到一个包含2个全连接层的2D分类网络来做假阳预测筛查。在训练的时候，如果一个候选区域的中心落在了某个栓子中，就认为它是正类，反之认为它是负类。本发明在每次迭代中，随机挑选128个训练样本，正负样本的比例为1：3。如果某次迭代中的正样本数量不足，本发明会用负样本来补足。
如图3所示是本发明实施例中本发明方法和其他方法的预测效果示意图，其中图3(a)、图3(b)和图3(c)分别代表在0mm，2mm和5mm的允许误差下，在不同的平均假阳预测下的召回率，其中每个图中各种不同的线形分别代表Mevis,ASU-Mayo,UPM,BWH,LMNIT,FUM-Mvlab,UA-2D以及UA-2.5D方法。
相比传统检测方法，本发明提出的端到端全自动肺栓塞检测系统消除了中间过程带来的误差累计，在PE-Challenge公共数据集上，本发明的方法对比当前最先进方法UA-2.5D，在平均每个病例两个假阳预测时，对于0mm,2mm以及5mm的允许误差，将召回率由之前的60.5％，66.4％和75.8％提升至78.9％，80.7％以及80.7％。另外，对比单独的3D CNN网络，本发明的方法提升了7％。
在模型训练完成后，在肺栓塞检测阶段，将CPTA图像划分为208×208×208的重叠立方体，立方体区域为32体素值。经过训练后的3D候选区域提取网络，仿射变换网络及最后的去假阳网络，可端到端地得到肺栓塞检测结果。之后，经过重叠立方体和CPTA原图之间的简单换算即可得到最终结果。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于卷积神经网络的肺栓塞检测系统，其特征在于，所述系统包括候选区域提取网络、3D仿射变换网络和假阳预测筛查网络，其中：
所述候选区域提取网络是一个使用了带有跳跃连接的自动编码解码的全卷积网络，其通过引入锚点来保证准确地检测不同大小的候选区域，通过所述候选区域提取网络对待检测计算机断层扫描肺血管造影图像进行候选区域提取，得到多个不同大小的假阳性候选区域；
所述3D仿射变换网络，用于从多个不同大小的假阳性候选区域中产生血管对齐的、大小固定的立方体并取出它们三个正交层；
所述假阳预测筛查网络，将所述3D仿射变换网络得到的三个正交层作为一张待检测计算机断层扫描肺血管造影图像的三个通道，输入到一个包含2个全连接层的2D分类网络进行假阳预测筛查，如果一个候选区域的中心落在了某个栓子中，就认为它是正类，反之认为它是负类。
2.如权利要求1所述的基于卷积神经网络的肺栓塞检测系统，其特征在于，所述全卷积网络使用带有跳跃连接的自动编码解码网络，其中编码器的最开始是两个3D卷积层和一个最大池化层，然后使用了四个残差模块，在解码器中，使用了两个反卷积层和两个残差模块对特征图进行上采样，在编码器的最后两个残差模块和其对应的解码器中残差模块之间使用了跳跃连接。
3.如权利要求1或2所述的基于卷积神经网络的肺栓塞检测系统，其特征在于，在输入候选区域提取网络之前，把整个计算机断层扫描肺血管造影CTPA分为大小为96×96×96的重叠的立方体，重叠区域为32体素值，所述立方体通过所述候选区域提取网络生成候选特征图。
4.如权利要求3所述的基于卷积神经网络的肺栓塞检测系统，其特征在于，将每个立方体的位置信息封装为[3,24,24,24]的四维向量，与最后一层残差层输入在第一维度上进行连接，形成尺寸为[131,24,24,24]的特征图，输入到最后一层网络中，得到3D全卷积神经网络的最后输出特征图，尺寸为[128,24,24,24]。
5.如权利要求1或2所述的基于卷积神经网络的肺栓塞检测系统，其特征在于，所述锚点被预先定义为三种不同的大小s＝10mm,30mm,60mm，并将锚点设置在所述候选特征图上，对于每个大小为s的锚点，需要回归五个值(Δxs,Δys,Δzs,Δds,ps)，其中(Δxs,Δys,Δzs)代表了候选区域相对锚点的偏移量，Δds表示候选区域相对于锚点的大小，ps表示该锚点包含肺栓塞的概率。
6.如权利要求1或2所述的基于卷积神经网络的肺栓塞检测系统，其特征在于，在训练所述候选区域提取网络时，为每一个锚点标记标签：如果一个锚点和真实值中的某个肺栓塞的IoU大于0.5则标为正类，如果某个锚点和真实值中的肺栓塞的IoU小于0.02则标为负类，其它情况的锚点不用于训练。
7.如权利要求1或2所述的基于卷积神经网络的肺栓塞检测系统，其特征在于，训练所述候选区域提取网络的目标函数为：
其中分类损失函数Lcls是二类交叉熵损失，回归损失函数Lreg为平滑L1损失函数，Ncls表示每次迭代的批样本数的大小，Nreg表示的是每次迭代中标签为正的锚点的数量，λ是权重系数i代表每个批次中的第i个锚点，pi和表示某个锚点包含肺栓塞的概率和真实值标签
ti和
表示预测的位置相对锚点的偏差，与真实值中肺栓塞相对锚点的偏差，包含四个值：
Δx＝(x-xa)/da,Δy＝(y-ya)/da
Δz＝(z-za)/da,Δd＝log(d/da)
(x,y,z,d)表示候选区域中心的预测坐标或者它的真实值坐标和边长，(xa,ya,za,da)表示的是锚点的坐标和边长。
8.如权利要求1或2所述的基于卷积神经网络的肺栓塞检测系统，其特征在于，所述3D仿射变换网络从原始的CTPA和对应的特征图中截取出候选区域Cori和Cfeat，设置一个预设阈值对原图进行二值化，并对于Cori使用主成分分析来求出三个对应的特征向量(v1,v2,v3)和他们对应的特征值(λ1≥λ2≥λ3)，特征向量v1代表的就是血管延伸的方向，v2和v3代表的是血管横截面上两个正交的方向，并利用特征向量(v1,v2,v3)对Cfeat进行变换得到血管对齐的特征图C′feat。
9.如权利要求8所述的基于卷积神经网络的肺栓塞检测系统，其特征在于，所述利用特征向量(v1,v2,v3)对Cfeat进行变换得到血管对齐的特征图C′feat为：
其中，(xt,yt,zt)和(xs,ys,zs)分别代表的是变换后的特征图C′feat和变换前的特征图Cfeat中的坐标，Aθ是仿射变换矩阵，(tx,ty,tz)代表候选区域的位置相对中心的偏移量，(sx,sy,sz)代表的是候选区域大小和CTPA大小的比例，其中e1＝[1,0,0]T,e2＝[0,1,0]T,e3＝[0,0,1]T。
10.如权利要求9所述的基于卷积神经网络的肺栓塞检测系统，其特征在于，把血管对齐的特征图C′feat输入到3D感兴趣区域采样层，将不同大小的C′feat进行采样，获得一个固定大小的特征图来用于假阳预测筛查。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910930769.6A CN110717916B (zh) | 2019-09-29 | 2019-09-29 | 一种基于卷积神经网络的肺栓塞检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910930769.6A CN110717916B (zh) | 2019-09-29 | 2019-09-29 | 一种基于卷积神经网络的肺栓塞检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110717916A true CN110717916A (zh) | 2020-01-21 |
| CN110717916B CN110717916B (zh) | 2022-08-30 |
Family
ID=69212062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910930769.6A Active CN110717916B (zh) | 2019-09-29 | 2019-09-29 | 一种基于卷积神经网络的肺栓塞检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717916B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369623A (zh) * | 2020-02-27 | 2020-07-03 | 复旦大学 | 一种基于深度学习3d目标检测的肺部ct图像识别方法 |
| CN111488856A (zh) * | 2020-04-28 | 2020-08-04 | 江西吉为科技有限公司 | 一种基于正交引导学习的多模态2d及3d人脸表情识别 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
| US20180247410A1 (en) * | 2017-02-27 | 2018-08-30 | Case Western Reserve University | Predicting immunotherapy response in non-small cell lung cancer with serial radiomics |
| CN109102502A (zh) * | 2018-08-03 | 2018-12-28 | 西北工业大学 | 基于三维卷积神经网络的肺结节检测方法 |
| CN109727253A (zh) * | 2018-11-14 | 2019-05-07 | 西安大数据与人工智能研究院 | 基于深度卷积神经网络自动分割肺结节的辅助检测方法 |
-
2019
- 2019-09-29 CN CN201910930769.6A patent/CN110717916B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
| US20180247410A1 (en) * | 2017-02-27 | 2018-08-30 | Case Western Reserve University | Predicting immunotherapy response in non-small cell lung cancer with serial radiomics |
| CN109102502A (zh) * | 2018-08-03 | 2018-12-28 | 西北工业大学 | 基于三维卷积神经网络的肺结节检测方法 |
| CN109727253A (zh) * | 2018-11-14 | 2019-05-07 | 西安大数据与人工智能研究院 | 基于深度卷积神经网络自动分割肺结节的辅助检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| XINYANG ET AL.: ""A Two-Stage Convolutional Neural Network for Pulmonary Embolism Detection From CTPA Images"", 《IEEE ACCESS》 * |
| 罗建豪 等: ""基于深度卷积特征的细粒度图像分类研究综述"", 《自动化学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369623A (zh) * | 2020-02-27 | 2020-07-03 | 复旦大学 | 一种基于深度学习3d目标检测的肺部ct图像识别方法 |
| CN111369623B (zh) * | 2020-02-27 | 2022-11-15 | 复旦大学 | 一种基于深度学习3d目标检测的肺部ct图像识别方法 |
| CN111488856A (zh) * | 2020-04-28 | 2020-08-04 | 江西吉为科技有限公司 | 一种基于正交引导学习的多模态2d及3d人脸表情识别 |
| CN111488856B (zh) * | 2020-04-28 | 2023-04-18 | 江西吉为科技有限公司 | 一种基于正交引导学习的多模态2d及3d人脸表情识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110717916B (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yan et al. | 3D context enhanced region-based convolutional neural network for end-to-end lesion detection | |
| CN112288706B (zh) | 一种自动化的染色体核型分析以及异常检测方法 | |
| CN107016665B (zh) | 一种基于深度卷积神经网络的ct肺结节检测方法 | |
| CN111582009B (zh) | 训练分类模型的装置和方法及利用分类模型分类的装置 | |
| Kiran et al. | DenseRes-Unet: Segmentation of overlapped/clustered nuclei from multi organ histopathology images | |
| CN111582008B (zh) | 训练分类模型的装置和方法及利用分类模型分类的装置 | |
| Ghahremani et al. | Deep learning-inferred multiplex immunofluorescence for immunohistochemical image quantification | |
| Shahzad et al. | Robust method for semantic segmentation of whole-slide blood cell microscopic images | |
| CN110853011B (zh) | 用于肺结节检测的卷积神经网络模型的构建方法 | |
| CN109949297B (zh) | 基于Reception和Faster R-CNN的肺结节检测方法 | |
| CN111882560A (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
| CN104484886B (zh) | 一种mr图像的分割方法及装置 | |
| Gehlot et al. | Ednfc-net: Convolutional neural network with nested feature concatenation for nuclei-instance segmentation | |
| CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
| CN110717916B (zh) | 一种基于卷积神经网络的肺栓塞检测系统 | |
| CN114600155A (zh) | 用于细胞检测和分割的弱监督多任务学习 | |
| Hu et al. | PolyBuilding: Polygon transformer for building extraction | |
| Al-Huda et al. | Weakly supervised pavement crack semantic segmentation based on multi-scale object localization and incremental annotation refinement | |
| CN113537357A (zh) | 一种基于深度残差网络的甲状腺癌ct影像分类系统 | |
| Yang et al. | C-RPNs: Promoting object detection in real world via a cascade structure of Region Proposal Networks | |
| CN115359264A (zh) | 一种密集型分布的粘连细胞深度学习识别方法 | |
| Zheng et al. | Automated detection and recognition of thyroid nodules in ultrasound images using Improve Cascade Mask R-CNN | |
| Wu et al. | Fast particle picking for cryo-electron tomography using one-stage detection | |
| Kalyani et al. | Deep learning-based detection and classification of adenocarcinoma cell nuclei | |
| Zhuang et al. | An interpretable multi-task system for clinically applicable COVID-19 diagnosis using CXR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |