CN109598727A - 一种基于深度神经网络的ct图像肺实质三维语义分割方法 - Google Patents
一种基于深度神经网络的ct图像肺实质三维语义分割方法 Download PDFInfo
- Publication number
- CN109598727A CN109598727A CN201811436267.XA CN201811436267A CN109598727A CN 109598727 A CN109598727 A CN 109598727A CN 201811436267 A CN201811436267 A CN 201811436267A CN 109598727 A CN109598727 A CN 109598727A
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- segmentation
- gru
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度神经网络的CT图像肺实质三维语义分割方法,该分割方法包括离线部分和在线部分。离线部分:包括4个步骤:数据集的预处理;全卷积神经网络框架搭建;GRU循环卷积神经网络框架搭建;网络训练。在线部分:包括5个步骤:图像预处理;像素特征提取与融合;体素特征提取与融合;分割输出;分割结果评价。特征融合包括编码层与解码层之间的特征融合,解剖结构层与层之间的特征融合。通过设计带有门控循环单元的深度神经网络模型,利用肺部的解剖结构先验信息,提取空间特征来有效表征断层序列之间的表观演变关系,实现对CT图像中的肺实质进行准确的三维语义分割。
Description
技术领域
本发明属于医学影像处理领域中的图像分割技术,具体涉及一种基于深度神经网络的CT图像肺实质三维语义分割方法。
背景技术
肺部疾病一直严重威胁着人类健康,肺癌居所有恶性肿瘤的病死率首位,总体5年生存率不超过15%。随着我国经济水平的快速发展,人们对于自身健康的关注程度也不断提高,疾病的早期诊断、早期治疗已经日益成为全社会共同关注的目标。为减轻医生的工作量,更快更准确地检查出肺部疾病,将医学图像处理技术应用于肺部疾病辅助诊断中,对临床肺部疾病的辅助诊断意义重大。肺实质的分割指的是将肺实质从肺部CT图像中提取出来,为临床治疗和病理学研究提供可靠依据。在肺部疾病计算机辅助诊断研究中,肺实质的分割是最为核心的步骤,是影响分析自动化、稳定性、结果精确性的关键问题,其处理结果的好坏直接影响到后续的分析过程,具有重大的临床诊断意义。
针对肺部CT图像肺实质分割问题,目前已有研究者开展了相关的研究工作。传统的肺部CT图像肺分割技术有阈值法、区域生长法、基于聚类的分割方法等。
阈值法用一个或几个门限值将图像的灰度直方图分成几类,认为灰度值在同一类的像素属于同一个物体。由于CT图像具有较高的密度分辨率,成像后的灰度差异很明显,因此阈值分割对于CT图像分割具有较好的效果,且其算法简单、计算速度快。但在选择阈值时需要依据经验判断,或者先做多次尝试性分割后再对阈值进行调整,直至效果满意。它的主要局限是只考虑了像素本身的值,一般并不考虑图像的空间特性。
区域生长法是根据预先定义的标准提取图像中相连接区域的方法。区域生长法弥补了阈值分割法没有或很少考虑空间关系的不足,但它的主要缺陷是每一个需要提取的区域都必须人工给出1个种子点,这样有多个区域就必须给出相应的种子个数,而且对种子点及生长合并规则的选取也比较敏感。在肺实质提取过程中,肺部CT图像经过初步处理之后,上肺层片中间目标区域上还保留有大气管的影像,而在中层肺片,还保留有左右主支气管的影像,这都是不属于肺实质的部分,需要去除,区域生长法多用于此处。区域生长法存在的不足之处是:(1)如何定义区域一致性准则;(2)其分割结果和种子点的选择有很大的关系;(3)此法对噪声也很敏感,可能会形成孔状甚至是根本不连续的区域。
基于聚类的方法中常用的是模糊C-均值算法。该算法是一种非监督模糊聚类后再标定的过程,适于分割有模糊性和不确定性特点的医学图像,如超声图像等。优点在于可形成原始图像的细致的特征空间,不会产生偏倚;无需人的干预,分割过程是完全自动的;对噪声敏感度较低。但该算法在应用于大数据量时收敛速度慢,耗时多。而且该算法易受初始设置的影响,初始值的选取会影响算法的收敛速度,不当的初始值可能会使算法陷入局部极小点,得到错误的结果。
但是这些方法仍然得不到令人满意的效果。近几年,随着深度学习的迅速发展,基于深度学习的肺分割方法逐渐受到研究者关注。基于2D CNN的方法通常以逐层的方式分割体积CT或MR数据。例如,将具有各种级联架构的双通道浅层网络用于脑MR图像中的低/高级成胶质细胞瘤分割。在胰腺分割中运用了整体嵌套网络的空间聚合来对CT图像实现了准确的胰腺分割。
尽管这些基于2D CNN的方法大大提高了基于传统手工特征的方法的分割精度,但是对于容积医学图像分析,因为它们不能充分利用体积数据中的特殊信息,效果可能不是最佳的。后来研究者们提出了2.5D方法,以加入更丰富的空间信息,但仍然受于2D内核。为了克服这个缺点,最近基于3D CNN的算法被广泛提出并运用,旨在三个空间维度上提取更强大的体积表示,包括3D U-Net、V-Net、VoxResNet等。3D U-Net将2D U-Net扩展为3D版本,其通过抽象特征的分析路径和合成路径以产生全分辨率分割。V-Net进行了一项新颖的Dice系数目标函数训练,旨在解决类失衡现象。VoxResNet深刻借鉴了2D深层残留学习的思想,构建了一个非常深入的3D网络,进一步利用多模态输入和多层次的上下文信息来产生最先进的分割结果。
发明内容
本发明的目的在于,通过设计带有门控循环单元(Gated Recurrent Unit,GRU)的深度神经网络模型,利用肺部的解剖结构先验信息,提取空间特征来有效表征断层序列之间的表观演变关系,实现对CT图像中的肺实质进行准确的三维语义分割。
本发明是采用以下技术手段实现的:一种基于深度神经网络的CT图像肺实质三维语义分割方法,该分割方法包括离线部分和在线部分。
离线部分:包括4个步骤:数据集的预处理;全卷积神经网络框架搭建;GRU循环卷积神经网络框架搭建;网络训练。
在线部分:包括5个步骤:图像预处理;像素特征提取与融合;体素特征提取与融合;分割输出;分割结果评价。特征融合包括编码层与解码层之间的特征融合,解剖结构层与层之间的特征融合。
首先对收集的胸部CT图像进行数据集的预处理,然后搭建全卷积神经网络用于二维粗略分割。二维粗略分割采用基于跳过连接结构的全卷积神经网络提取二维图像中的上下文像素特征,包括编码器和解码器两部分。编码器逐渐减少池化层的空间维度,解决图像的边缘定位问题;解码器逐步修复肺实质的细节和空间维度,解决像素语义分类的问题;跳过连接结构则将编码器的定位信息传至解码器,因此能帮助解码器更好地修复目标的细节,实现边界定位的二维分割。然后搭建GRU循环卷积神经网络用于三维准确分割,在扫描层图像的二维分割基础之上,结合肺部解剖结构的先验知识指导,针对轴向序列的三维图像,采用带有GRU记忆单元的循环卷积神经网络建模肺解剖结构信息,通过获得表征肺解剖结构信息的特征来挖掘扫描层序列之间的表观演变关系,训练获得肺实质分割模型。得到肺实质分割模型之后,对待分割的序列图像进行测试。首先对图像进行预处理,然后将序列图像送入肺实质分割模型中,通过像素特征的提取融合和体素特征的提取融合来实现肺实质三维语义分割。此外,采用DSC系数对分割结果进行有效评价,来验证分割的准确性。
设计的深度神经网络架构由全卷积神经网络和GRU循环卷积神经网络两个子网络构成,每个子网络都担负着分割任务。在二维粗略分割中,第一个子网络即全卷积神经网络架构包含编码路径、解码路径和跳过的连接路径。编码路径包括8个卷积层,4个Relu激活函数,4个最大池化层。解码路径包括10个卷积层,4个反卷积层,以及最后一层的卷积映射层。跳过的连接路径将编码路径每次Relu激活函数后的特征图复制连接到解码路径的反卷积层特征图中。第一个子网络共有23个卷积层,4个池化层,4个跳过的连接结构。通过跳过的连接路径,第一个子网络将浅层的粗略的边缘定位信息与深层的细节的像素分割信息相融合,得到一个有效的二维分割结果。在三维准确分割中,第二个子网络即门控循环单元即GRU循环卷积神经网络包括1个输入层,9个带有GRU记忆单元的隐藏卷积层,其中GRU记忆单元包含9个sigmoid激活函数,1个输出层。每一个隐藏卷积层是对上一层特征与当前层状态的卷积运算。每个GRU记忆单元包含1个更新门和1个复位门,通过更新门和复位门的相互作用,获得输入与输出之间的演变状态。经过GRU记忆单元的模型推演,获得的隐藏卷积层蕴含的上一层的特征信息,从而使得整个网络学习到了表征容积数据信息的体素特征。
在网络的卷积层之间需要通过卷积滤波器联系,卷积滤波器的定义表示为W×H×C×D,其中,C代表被滤波图像的通道数;W、H分别代表滤波范围的宽、高;D代表卷积滤波器的种类。
离线部分具体步骤如下:
(1)数据集的预处理
胸部CT图像是通过X线计算机体层扫描得到的序列图像。首先依据肺实质的CT值对胸部CT断层扫描图像进行预处理操作,利用不同组织的窗宽及窗位的标准值进行归一化,降低不相关区域对肺分割的干扰。然后将断层图像尺寸规范化成508×508大小的统一序列图像。最后在胸部CT序列图像中对肺实质进行手工标注,获得肺实质真实值标签。
(2)全卷积神经网络框架搭建
首先采用全卷积神经网络来实现肺实质断层图像的二维分割。全卷积神经网络包含编码路径、解码路径和跳过的连接路径。编码路径包括8个卷积层,4个Relu激活函数,4个最大池化层。解码路径包括10个卷积层,4个反卷积层,以及最后一层的卷积映射层。跳过的连接路径将编码路径每次Relu激活函数后的特征图复制连接到解码路径的反卷积层特征图中。全卷积神经网络共有23个卷积层,4个池化层,4个跳过的连接结构。通过跳过的连接路径,全卷积神经网络能够将浅层的粗略的边缘定位信息与深层的细节的像素分割信息相融合,得到一个有效的二维分割结果。
各卷积层输入和输出特征图的变化如下:
首先,输入为508×508×1大小的图像,在第一组卷积层中,先经过64个卷积核3×3之后生成506×506×64的特征图,重复卷积操作得到504×504×64的特征图,然后进行下采样2×2的最大池化生成252×252×64的特征图。
在第二组卷积层中,输入为252×252×64的特征图,先经过128个卷积核3×3之后生成250×250×128的特征图,重复卷积操作得到248×248×128的特征图,然后进行下采样2×2的最大池化生成124×124×128的特征图。
在第三组卷积层中,输入为124×124×128的特征图,先经过256个卷积核3×3之后生成122×122×256的特征图,重复卷积操作得到120×120×256的特征图,然后进行下采样2×2的最大池化生成60×60×256的特征图。
在第四组卷积层中,输入为60×60×256的特征图,先经过512个卷积核3×3之后生成58×58×512的特征图,重复卷积操作得到56×56×512的特征图,然后进行下采样2×2的最大池化生成28×28×512的特征图。
在第五组卷积层中,输入为28×28×512的特征图,先经过1024个卷积核3×3之后生成26×26×1024的特征图,重复卷积操作得到24×24×1024的特征图,然后进行上采样2×2的反卷积生成48×48×1024的特征图。
在第六组卷积层中,首先通过连接路径将第四组输出的特征图复制与第五组输出的特征图合并,输入为48×48×1024的连接特征图,先经过512个卷积核3×3之后生成46×46×512的特征图,重复卷积操作得到44×44×512的特征图,然后经过上采样2×2的反卷积生成88×88×512的特征图。
在第七组卷积层中,首先通过连接路径将第三组输出的特征图复制与第六组输出的特征图合并,输入为88×88×512的连接特征图,先经过256个卷积核3×3之后生成86×86×256的特征图,重复卷积操作得到84×84×256的特征图,然后经过上采样2×2的反卷积生成168×168×256的特征图。
在第八组卷积层中,首先通过连接路径将第二组输出的特征图复制与第七组输出的特征图合并,输入为168×168×256的连接特征图,先经过128个卷积核3×3之后生成166×166×128的特征图,重复卷积操作得到164×164×128的特征图,然后经过上采样2×2的反卷积生成328×328×128的特征图。
在第九组卷积层中,首先通过连接路径将第一组输出的特征图复制与第八组输出的特征图合并,输入为328×328×128的连接特征图,先经过64个卷积核3×3之后生成326×326×64的特征图,重复卷积操作得到324×324×64的特征图。最终经过2个1×1的卷积核生成324×324×2的图像。此外,每一组卷积层之后都会有一个修正线性单元(Rectifiedlinear unit,Relu)作为激活函数,帮助提取特征图。
(3)GRU循环卷积神经网络框架搭建
在全卷积神经网络框架搭建的基础上,设计了GRU循环卷积神经网络用于肺实质CT序列图像的三维分割。GRU循环卷积神经网络包括输入层、带有GRU记忆单元的隐藏卷积层和输出层。输入层为全卷积神经网络每一组卷积层输出的特征图;隐藏卷积层通过GRU记忆单元的两个控制门对输入层和上一层输出层进行卷积操作,每个GRU记忆单元包含2个sigmoid激活函数;输出层输出卷积后的特征图。全卷积神经网络每一组卷积层输出的特征图被送入GRU循环卷积神经网络中,通过两个控制门得到输入层与上一层卷积的信息保留情况,然后输出到下一层卷积隐藏层中。
每个GRU记忆单元包含1个更新门和1个复位门,通过两个控制门的相互作用,获得输入与输出之间的演变状态。经过GRU记忆单元的模型推演,获得的隐藏卷积层蕴含了上一层的特征信息,从而使得整个网络学习到了表征容积数据信息的体素特征。每一个隐藏层不再是简单的求和操作,而是上一层特征与当前层状态的卷积运算。
对应GRU循环卷积神经网络的第l层隐藏卷积层hs,l,s是全卷积神经网络的第s层,l是循环卷积神经网络的第l层。带有GRU记忆单元的隐藏卷积层hs,l的递推关系为:
Zs,l=σ(Wz,l*xs,l+Uz,l*hs-1,l) (1)
rs,l=σ(Wr,l*xs,l+Ur,l*hs-1,l) (2)
式中*为卷积运算,°为逐元素的乘积,σ(·)是sigmoid函数。xs,l是全卷积
神经网络每一组卷积层输出的特征图,作为输入层。hs-1,l是GRU循环卷积神经网络上一层的输出。rs,l为GRU记忆单元的复位门,控制是否忽略先前的隐状态。zs,l是GRU记忆单元的更新门,控制当前的隐状态携带了多少历史信息。Wz,l和Uz,l是复位门的权重。Wr,l和Ur,l是更新门的权重。
从断层序列维度看,循环卷积神经网络定义了暗含空间关系的隐状态及其演变形式。对于断层s,隐状态依赖于前一断层的隐状态以及当前断层输入状态,这种断层空间依存关系通过GRU记忆单元表征。使用l层卷积特征图作为当前的输入状态,经过记忆单元GRU的模型推演,获得的l层隐状态则蕴含了容积数据的空间结构信息。
(4)网络训练
首先为整个深度神经网络建立损失监督,并采用常用的梯度下降法求解最小化损失函数的问题。深度神经网络采用softmax和交叉熵结合的方式计算损失函数。将预处理后的数据通过该网络进行训练,经过反复迭代学习,最终迭代8万次停止训练获得图像分割的网络模型。学习速率决定了权重更新的快慢,一般倾向于选取较小的学习速率,设置学习速率为0.0001。动量参数和权重衰减因子可提高训练的自适应性,动量参数设置为0.99,权重衰减因子设置为0.0005。
在线部分具体步骤如下:
(1)图像预处理
依据肺部断层图像的CT值及窗位、窗宽标准值,排除不相关的区域,并归一化操作来调整影像对比度。调整完影像对比度之后将图像统一规范化成508×508尺寸大小,统一规范序列图像数据。并在CT序列图像中对肺实质进行手工标注,获得肺实质真实值标签。
(2)像素特征提取与融合
通过全卷积神经网络来进行像素特征的提取与融合。首先对规范的序列图像数据采用3×3卷积核进行卷积操作,然后通过下采样提取粗略的边缘定位信息,接着通过上采样提取细节的像素分割信息,通过直接的跳过连接结构将浅层信息与深层信息进行特征融合,从而实现断层图像的肺实质二维分割。
(3)体素特征提取与融合
通过GRU循环卷积神经网络来进行体素特征的提取与融合。对提取得到的特征图,利用GRU记忆单元获取上一层的特征信息,通过两个控制门将上一层的像素特征与当前层的像素特征融合,这样提取的特征图是一种空间信息的表征。其中,GRU记忆单元的运算也不再是上一层与当前层的求和,而是上一层与当前层的卷积操作,从而更有效获取空间特征。
(4)分割输出
通过像素特征的提取与融合,体素特征提取与融合得到网络训练的肺实质分割模型。将肺部CT图像输入肺实质分割模型当中,通过softmax函数和交叉熵结合的方式计算损失函数得到分割输出结果。肺实质分割模型经过softmax函数之后得到一个概率分布情况,然后通过交叉熵衡量两个分布之间的距离,反映真实图像和测试图像之间的相似性,当测试迭代次数增加,相似性不再增加时得到最准确的输出结果。
(5)分割结果评价
使用Dice-系数DSC作为评估指标进行分割结果的评价,以此来确定分割的准确度。DSC系数是利用二进制进行标签化,将前景体素设置为1,背景体素设计为0,通过以下公式进行分割结果评价。
式中,y为真实的前景体素,z为分割的前景体素。
与现有技术相比较,本发明针对CT容积影像,设计了基于深度神经网络的三维解剖结构先验表达模型,并在此基础之上,设计了肺实质CT影像分割算法。首先,针对轴位扫描的断层序列影像,采用包含编码路径、解码路径和跳过的连接路径的全卷积神经网络,提取二维影像像素特征;然后利用基于循环卷积神经网络的肺实质解剖结构先验表达模型,挖掘断层序列之间的肺实质表观演变关系,提取能够表征肺解剖空间结构的三维特征;进而实现肺实质区域的三维语义分割。本发明设计了带有门控记忆单元的循环神经网络来建模肺实质三维解剖结构,记忆单元GRU可以保留空间上相邻的断层数据的相关关系,在二维特征提取基础上,更加有效地保留了容积影像中肺实质的三维形态。
附图说明
图1、发明方法总体流程图;
图2、深度神经网络总体架构图;
图3、记忆单元GRU原理图。
具体实施方式
以下结合说明书附图,对本发明的实施实例加以详细说明:
所述离线部分分为4个步骤:
步骤1数据集的预处理
通过以下公式利用窗宽、窗位对图像I进行归一化处理。
式中,Winc是从图像中读取的WindowCenter,表示该图像的窗位;Winw是从图像中读取的WindowWidth,表示该图像的窗宽;R是从图像中读取的RescaleSlope,表示像素值的比例系数;RI是从图像中读取的RescaleIntercept,表示像素值的比例参数;i表示图像的每一个像素点;N为归一化函数。
然后将不同尺寸大小的图像统一裁剪到508×508尺寸大小,形成统一的序列图像。最后由经验丰富的医生在胸部CT序列图像中通过软件对肺实质进行手工标注,获得肺实质真实值标签。
步骤2全卷积神经网络框架
本网络包括输入层,9组卷积层和输出层。每组卷积层包含两个卷积操作,1个Relu激活函数,1-5组卷积层之间分别进行下采样最大池化操作,5-9组卷积层之间进行上采样反卷积操作,最后输出层进行1×1卷积映射。
(1)输入层的特征提取公式表示如下:
F1(X1)=max(0,W1*X1+B1) (8)
式中,X1为进入输入层的特征图。W1表示输入层的卷积滤波器,W1的尺寸是64×3×3,它表示64个卷积核,每个卷积的核尺寸3×3,F1(X1)是输入层得到的特征图,B1是偏置。
(2)第2-9组卷积层的各阶段公式表示如下:
Fi(Xi)=max(0,Wi*Fi-1(Xi)+Bi){i=2,3,…,9} (9)
式中,i表示第i层,Xi为第i-1层的输出。Wi表示卷积层的卷积滤波器,卷积滤波器W1的尺寸是64×3×3,第2-9组卷积层Wi的卷积核的尺寸分别为128×3×3、256×3×3、512×3×3、1024×3×3、512×3×3、256×3×3、128×3×3、64×3×3,Bi是偏置。
第1-5组下采样池化操作的公式表示如下:
Fi(Xi)=max(0,Wi*Fi-1(Xi)+Bi){i=1,2,3,4} (10)
式中,i表示第i层,Xi为第i-1层的输出。Wi表示卷积层的卷积滤波器,卷积滤波器Wi的卷积核大小是2×2,Bi是偏置。
第5-8组上采样反卷积操作的公式表示如下:
Fi(Xi)=deConv(0,Wi*Fi-1(Xi)+Bi){i=5,6,7,8,} (11)
式中,i表示第i层,Xi为第i-1层的输出。Wi表示卷积层的卷积滤波器,卷积滤波器Wi的卷积核大小是2×2,Bi是偏置。
(3)输出层的公式表示如下:
F10(X10)=W10*F9(X9)+B10 (12)
式中,X10为第9组卷积层的输出。W10表示卷积映射层的卷积滤波器,W10的尺寸是2×1×1,能够实现平均特征图的作用,B10是偏置,F9(X9)是第9组卷积层产生的特征图。
(4)在每组卷积层的激活函数中,采用修正线性单元Relu,公式如下所示。x表示特征图经过卷积后的结果,当x<0,f(x)=0;如果x>0,f(x)=x。在正向传播时,加快了计算速度。在反向传播时,当x>0时,梯度为1,因而减轻了梯度弥散问题。
f(x)=max(0,x) (13)
步骤3 GRU循环卷积神经网络框架
GRU循环卷积神经网络包括输入层,隐藏卷积层和输出层。隐藏卷积层带有GRU记忆单元来控制信息保留情况,附图3给出了GRU记忆单元的组成结构。对应GRU循环卷积神经网络的第l层隐藏卷积层hs,l,s是全卷积神经网络的第s层,l是循环卷积神经网络的第l层。带有GRU记忆单元的隐藏卷积层hs,l的递推关系为:
zs,l=σ(Wz,l*xs,l+Uz,l*hs-1,l) (14)
rs,l=σ(Wr,l*xs,l+Ur,l*hs-1,l) (15)
式中*为卷积运算,°为逐元素的乘积,σ(·)是sigmoid函数。xs,l是全卷积神经网络每一组卷积层输出的特征图,作为输入层。hs-1,l是GRU循环卷积神经网络上一层的输出。rs,l为GRU记忆单元的复位门,控制是否忽略先前的隐状态。zs,l是GRU记忆单元的更新门,控制当前的隐状态携带了多少历史信息。Wz,l和Uz,l是复位门的权重。Wr,l和Ur,l是更新门的权重。
复位门rs控制是否忽略先前的隐状态,而聚焦关注于当前输入状态,它的存在使得隐状态可以丢弃与未来不相关的信息,获得更紧凑的表达。更新门zs则控制当前的隐状态携带了多少历史信息,以帮助网络回忆长期信息。由于这两个控制门的存在,GRU可以捕获不同序列跨度下输入状态的依存关系。权重经过训练,一些复位门较活跃的GRU可表达序列数据间的微观依赖关系,而更新门较活跃的GRU则更能保留数据的宏观特性。
步骤4网络训练
网络采用Softmax和交叉熵结合的方式计算损失函数。Softmax通过以下公式来定义,其中ak(x)表示x像素点被特征通道k激活,K是通道类的数量,pk(x)是近似最大函数。
然后交叉熵函数来确定误差,其中Ω→{1,…,K}是每一个像素的标签,w:是一个权重图。
权重图通过以下公式计算:
其中wc:是平衡类频率的权重映射,d1:表示距离最近单元格边界的距离,d2:是与第二个最近单元格边界的距离。在实验中设置权重w0=10,σ≈5,设置学习速率为0.0001,动量参数设置为0.99,权重衰减因子设置为0.0005。经过反复迭代学习,最终迭代8万次停止训练获得图像分割的网络模型。
所述的在线部分,具体步骤如下:
步骤1图像预处理
首先依据肺实质的CT值对胸部CT断层扫描图像进行预处理操作,利用不同组织的窗宽及窗位的标准值进行归一化,降低不相关区域对肺分割的干扰。然后将断层图像尺寸规范化成508×508大小的统一序列图像。最后经验丰富的医生在胸部CT序列图像中对肺实质进行手工标注,获得肺实质真实值标签。
步骤2像素特征提取与融合
将序列图像输入全卷积神经网络中,分别对每层图像进行卷积操作实现像素特征的提取,然后通过对浅层特征和深层特征的复制连接进行特征融合,这样得到的肺实质是单层图像的二维分割结果。
步骤3体素特征提取与融合
在全卷积神经网络每组卷积操作后增加带有GRU记忆单元的隐藏层,输入当前层卷积后的特征图,与上一层的特征图进行卷积操作,输出新的特征图。通过GRU循环卷积神经网络对解剖结构层与层之间特征图进行卷积提取空间体素特征,并通过GRU两个控制门进行特征融合,从而实现肺实质三维的语义分割。
步骤4分割输出
将规范化的肺部CT序列图像输入总网络训练得到的肺实质分割模型,通过softmax函数和交叉熵结合的方式计算损失函数得到分割输出结果。肺实质分割模型经过softmax函数之后对所有的输出转换为概率值,然后通过交叉熵计算真实标签分布与模型预测分布之间的相似性,当测试迭代次数增加,相似性不再增加时得到最准确的输出结果。
步骤5分割结果评价
使用Dice-系数(DSC)作为评估参数进行分割结果的评价,以此来确定分割的准确度。DSC系数是利用二进制进行标签化,将前景体素设置为1,背景体素设计为0,通过以下公式进行分割结果评价。
式中,Y(t)和Z(t)表示为真实前景体素和预测的前景体素的集合。这样得到的准确度会在[0,1]范围内。
Claims (3)
1.一种基于深度神经网络的CT图像肺实质三维语义分割方法,其特征在于:该分割方法包括离线部分和在线部分:
离线部分:包括4个步骤:数据集的预处理;全卷积神经网络框架搭建;GRU循环卷积神经网络框架搭建;网络训练;
在线部分:包括5个步骤:图像预处理;像素特征提取与融合;体素特征提取与融合;分割输出;分割结果评价;特征融合包括编码层与解码层之间的特征融合,解剖结构层与层之间的特征融合;
首先对收集的胸部CT图像进行数据集的预处理,然后搭建全卷积神经网络用于二维粗略分割;二维粗略分割采用基于跳过连接结构的全卷积神经网络提取二维图像中的上下文像素特征,包括编码器和解码器两部分;编码器逐渐减少池化层的空间维度,解决图像的边缘定位问题;解码器逐步修复肺实质的细节和空间维度,解决像素语义分类的问题;跳过连接结构则将编码器的定位信息传至解码器,因此能帮助解码器更好地修复目标的细节,实现边界定位的二维分割;然后搭建GRU循环卷积神经网络用于三维准确分割,在扫描层图像的二维分割基础之上,结合肺部解剖结构的先验知识指导,针对轴向序列的三维图像,采用带有GRU记忆单元的循环卷积神经网络建模肺解剖结构信息,通过获得表征肺解剖结构信息的特征来挖掘扫描层序列之间的表观演变关系,训练获得肺实质分割模型;得到肺实质分割模型之后,对待分割的序列图像进行测试;首先对图像进行预处理,然后将序列图像送入肺实质分割模型中,通过像素特征的提取融合和体素特征的提取融合来实现肺实质三维语义分割;此外,采用DSC系数对分割结果进行评价,验证分割的准确性;
设计的深度神经网络架构由全卷积神经网络和GRU循环卷积神经网络两个子网络构成,每个子网络都担负着分割任务;在二维粗略分割中,第一个子网络即全卷积神经网络架构包含编码路径、解码路径和跳过的连接路径;编码路径包括8个卷积层,4个Relu激活函数,4个最大池化层;解码路径包括10个卷积层,4个反卷积层,以及最后一层的卷积映射层;跳过的连接路径将编码路径每次Relu激活函数后的特征图复制连接到解码路径的反卷积层特征图中;第一个子网络共有23个卷积层,4个池化层,4个跳过的连接结构;通过跳过的连接路径,第一个子网络将浅层的粗略的边缘定位信息与深层的细节的像素分割信息相融合,得到一个有效的二维分割结果;在三维准确分割中,第二个子网络即门控循环单元即GRU循环卷积神经网络包括1个输入层,9个带有GRU记忆单元的隐藏卷积层,其中GRU记忆单元包含9个sigmoid激活函数,1个输出层;每一个隐藏卷积层是对上一层特征与当前层状态的卷积运算;每个GRU记忆单元包含1个更新门和1个复位门,通过更新门和复位门的相互作用,获得输入与输出之间的演变状态;经过GRU记忆单元的模型推演,获得的隐藏卷积层蕴含的上一层的特征信息,从而使得整个网络学习到了表征容积数据信息的体素特征;
在网络的卷积层之间需要通过卷积滤波器联系,卷积滤波器的定义表示为W×H×C×D,其中,C代表被滤波图像的通道数;W、H分别代表滤波范围的宽、高;D代表卷积滤波器的种类。
2.根据权利要求1所述的一种基于深度神经网络的CT图像肺实质三维语义分割方法,其特征在于:离线部分具体步骤如下,
(1)数据集的预处理
胸部CT图像是通过X线计算机体层扫描得到的序列图像;首先依据肺实质的CT值对胸部CT断层扫描图像进行预处理操作,利用不同组织的窗宽及窗位的标准值进行归一化,降低不相关区域对肺分割的干扰;然后将断层图像尺寸规范化成508×508大小的统一序列图像;最后在胸部CT序列图像中对肺实质进行手工标注,获得肺实质真实值标签;
(2)全卷积神经网络框架搭建
首先采用全卷积神经网络来实现肺实质断层图像的二维分割;全卷积神经网络包含编码路径、解码路径和跳过的连接路径;编码路径包括8个卷积层,4个Relu激活函数,4个最大池化层;解码路径包括10个卷积层,4个反卷积层,以及最后一层的卷积映射层;跳过的连接路径将编码路径每次Relu激活函数后的特征图复制连接到解码路径的反卷积层特征图中;全卷积神经网络共有23个卷积层,4个池化层,4个跳过的连接结构;通过跳过的连接路径,全卷积神经网络能够将浅层的粗略的边缘定位信息与深层的细节的像素分割信息相融合,得到一个二维分割结果;
(3)GRU循环卷积神经网络框架搭建
在全卷积神经网络框架搭建的基础上,设计了GRU循环卷积神经网络用于肺实质CT序列图像的三维分割;GRU循环卷积神经网络包括输入层、带有GRU记忆单元的隐藏卷积层和输出层;输入层为全卷积神经网络每一组卷积层输出的特征图;隐藏卷积层通过GRU记忆单元的两个控制门对输入层和上一层输出层进行卷积操作,每个GRU记忆单元包含2个sigmoid激活函数;输出层输出卷积后的特征图;全卷积神经网络每一组卷积层输出的特征图被送入GRU循环卷积神经网络中,通过两个控制门得到输入层与上一层卷积的信息保留情况,然后输出到下一层卷积隐藏层中;
每个GRU记忆单元包含1个更新门和1个复位门,通过两个控制门的相互作用,获得输入与输出之间的演变状态;经过GRU记忆单元的模型推演,获得的隐藏卷积层蕴含了上一层的特征信息,从而使得整个网络学习到了表征容积数据信息的体素特征;每一个隐藏层不再是简单的求和操作,而是上一层特征与当前层状态的卷积运算;
对应GRU循环卷积神经网络的第l层隐藏卷积层hs,l,s是全卷积神经网络的第s层,l是循环卷积神经网络的第l层;带有GRU记忆单元的隐藏卷积层hs,l的递推关系为:
zs,l=σ(Wz,l*xs,l+Uz,l*hs-1,l) (1)
rs,l=σ(Wr,l*xs,l+Ur,l*hs-1,l) (2)
式中*为卷积运算,为逐元素的乘积,σ(·)是sigmoid函数;xs,l是全卷积神经网络每一组卷积层输出的特征图,作为输入层;hs-1l是GRU循环卷积神经网络上一层的输出;rs,l为GRU记忆单元的复位门,控制是否忽略先前的隐状态;zs,l是GRU记忆单元的更新门,控制当前的隐状态携带了多少历史信息;Wz,l和Uz,l是复位门的权重;Wr,l和Ur,l是更新门的权重;
从断层序列维度看,循环卷积神经网络定义了暗含空间关系的隐状态及其演变形式;对于断层s,隐状态依赖于前一断层的隐状态以及当前断层输入状态,这种断层空间依存关系通过GRU记忆单元表征;使用l层卷积特征图作为当前的输入状态,经过记忆单元GRU的模型推演,获得的l层隐状态则蕴含了容积数据的空间结构信息;
(4)网络训练
首先为整个深度神经网络建立损失监督,并采用常用的梯度下降法求解最小化损失函数的问题;深度神经网络采用softmax和交叉熵结合的方式计算损失函数;将预处理后的数据通过该网络进行训练,经过反复迭代学习,最终迭代8万次停止训练获得图像分割的网络模型;学习速率决定了权重更新的快慢,选取学习速率为0.0001;动量参数和权重衰减因子可提高训练的自适应性,动量参数设置为0.99,权重衰减因子设置为0.0005。
3.根据权利要求1所述的一种基于深度神经网络的CT图像肺实质三维语义分割方法,其特征在于:在线部分具体步骤如下,
(1)图像预处理
依据肺部断层图像的CT值及窗位、窗宽标准值,排除不相关的区域,并归一化操作来调整影像对比度;调整完影像对比度之后将图像统一规范化成508×508尺寸大小,统一规范序列图像数据;并在CT序列图像中对肺实质进行手工标注,获得肺实质真实值标签;
(2)像素特征提取与融合
通过全卷积神经网络来进行像素特征的提取与融合;首先对规范的序列图像数据采用3×3卷积核进行卷积操作,然后通过下采样提取粗略的边缘定位信息,接着通过上采样提取细节的像素分割信息,通过直接的跳过连接结构将浅层信息与深层信息进行特征融合,从而实现断层图像的肺实质二维分割;
(3)体素特征提取与融合
通过GRU循环卷积神经网络来进行体素特征的提取与融合;对提取得到的特征图,利用GRU记忆单元获取上一层的特征信息,通过两个控制门将上一层的像素特征与当前层的像素特征融合,这样提取的特征图是一种空间信息的表征;其中,GRU记忆单元的运算也不再是上一层与当前层的求和,而是上一层与当前层的卷积操作,从而更有效获取空间特征;
(4)分割输出
通过像素特征的提取与融合,体素特征提取与融合得到网络训练的肺实质分割模型;将肺部CT图像输入肺实质分割模型当中,通过softmax函数和交叉熵结合的方式计算损失函数得到分割输出结果;肺实质分割模型经过softmax函数之后得到一个概率分布情况,然后通过交叉熵衡量两个分布之间的距离,反映真实图像和测试图像之间的相似性,当测试迭代次数增加,相似性不再增加时得到最准确的输出结果;
(5)分割结果评价
使用系数DSC作为评估指标进行分割结果的评价,以此来确定分割的准确度;DSC系数是利用二进制进行标签化,将前景体素设置为1,背景体素设计为0,通过以下公式进行分割结果评价;
式中,y为真实的前景体素,z为分割的前景体素。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811436267.XA CN109598727B (zh) | 2018-11-28 | 2018-11-28 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811436267.XA CN109598727B (zh) | 2018-11-28 | 2018-11-28 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109598727A true CN109598727A (zh) | 2019-04-09 |
CN109598727B CN109598727B (zh) | 2021-09-14 |
Family
ID=65960495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811436267.XA Active CN109598727B (zh) | 2018-11-28 | 2018-11-28 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109598727B (zh) |
Cited By (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084796A (zh) * | 2019-04-24 | 2019-08-02 | 徐州云联医疗科技有限公司 | 一种复杂纹理ct图像的分析方法 |
CN110136119A (zh) * | 2019-05-16 | 2019-08-16 | 杭州健培科技有限公司 | 一种基于深度学习的肺裂分割及完整性评估的方法和系统 |
CN110211140A (zh) * | 2019-06-14 | 2019-09-06 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
CN110211146A (zh) * | 2019-05-16 | 2019-09-06 | 中国人民解放军陆军工程大学 | 视交叉仿真的视频前景分割方法及装置 |
CN110276755A (zh) * | 2019-06-25 | 2019-09-24 | 广东工业大学 | 一种肿瘤位置定位系统及相关装置 |
CN110288611A (zh) * | 2019-06-12 | 2019-09-27 | 上海工程技术大学 | 基于注意力机制和全卷积神经网络的冠状血管分割方法 |
CN110363760A (zh) * | 2019-07-22 | 2019-10-22 | 广东工业大学 | 用于识别医学图像的计算机系统 |
CN110415253A (zh) * | 2019-05-06 | 2019-11-05 | 南京大学 | 一种基于深度神经网络的点交互式医学图像分割方法 |
CN110555853A (zh) * | 2019-08-07 | 2019-12-10 | 杭州深睿博联科技有限公司 | 基于解剖学先验的分割算法评估的方法和装置 |
CN110569851A (zh) * | 2019-08-28 | 2019-12-13 | 广西师范大学 | 门控多层融合的实时语义分割方法 |
CN110610489A (zh) * | 2019-08-30 | 2019-12-24 | 西安电子科技大学 | 基于注意力机制的光学喉镜图像病变区标注方法 |
CN110675411A (zh) * | 2019-09-26 | 2020-01-10 | 重庆大学 | 基于深度学习的宫颈鳞状上皮内病变识别算法 |
CN110689547A (zh) * | 2019-09-25 | 2020-01-14 | 重庆大学 | 一种基于三维ct影像的肺结节分割方法 |
CN110728178A (zh) * | 2019-09-02 | 2020-01-24 | 武汉大学 | 一种基于深度学习的事件相机车道线提取方法 |
CN111260705A (zh) * | 2020-01-13 | 2020-06-09 | 武汉大学 | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 |
CN111325766A (zh) * | 2020-02-20 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 三维边缘检测方法、装置、存储介质和计算机设备 |
CN111340756A (zh) * | 2020-02-13 | 2020-06-26 | 北京深睿博联科技有限责任公司 | 一种医学图像病变检出合并方法、系统、终端及存储介质 |
CN111462100A (zh) * | 2020-04-07 | 2020-07-28 | 广州柏视医疗科技有限公司 | 基于新型冠状病毒肺炎ct检测的检测设备及其使用方法 |
CN111612722A (zh) * | 2020-05-26 | 2020-09-01 | 星际(重庆)智能装备技术研究院有限公司 | 基于简化Unet全卷积神经网络的低照度图像处理方法 |
CN111724360A (zh) * | 2020-06-12 | 2020-09-29 | 深圳技术大学 | 一种肺叶分割方法、装置和存储介质 |
CN111782529A (zh) * | 2020-06-30 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 辅助诊断系统的测试方法、装置、计算机设备及存储介质 |
CN111815764A (zh) * | 2020-07-21 | 2020-10-23 | 西北工业大学 | 基于自监督3d全卷积神经网络的超声三维重建方法 |
CN111882560A (zh) * | 2020-06-16 | 2020-11-03 | 北京工业大学 | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 |
CN111915553A (zh) * | 2020-06-18 | 2020-11-10 | 杭州深睿博联科技有限公司 | 基于时序建模的部位识别方法和装置 |
CN111914925A (zh) * | 2020-07-28 | 2020-11-10 | 复旦大学 | 一种基于深度学习的患者行为多模态感知与分析系统 |
CN111950714A (zh) * | 2020-08-24 | 2020-11-17 | 重庆市云迈科技有限公司 | 一种基于3d全卷积神经网络的能谱ct图像域材料识别方法 |
CN112070685A (zh) * | 2020-08-10 | 2020-12-11 | 武汉大学 | Hifu治疗系统的动态软组织运动预测的方法 |
CN112116605A (zh) * | 2020-09-29 | 2020-12-22 | 西北工业大学深圳研究院 | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 |
CN112168138A (zh) * | 2019-07-02 | 2021-01-05 | 爱科维申科技(天津)有限公司 | 基于fcn和gru的鸡蛋胚胎成活性分类方法 |
CN112365498A (zh) * | 2020-12-10 | 2021-02-12 | 南京大学 | 一种针对二维图像序列中多尺度多形态目标的自动检测方法 |
CN112419330A (zh) * | 2020-10-16 | 2021-02-26 | 北京工业大学 | 一种基于空间相对位置先验的颞骨关键解剖结构自动定位方法 |
CN112419343A (zh) * | 2019-11-27 | 2021-02-26 | 上海联影智能医疗科技有限公司 | 用于图像分割的系统和方法 |
CN112419247A (zh) * | 2020-11-12 | 2021-02-26 | 复旦大学 | 基于机器学习的mr图像脑肿瘤检测方法和系统 |
WO2021051555A1 (zh) * | 2019-09-16 | 2021-03-25 | 平安科技(深圳)有限公司 | 基于图像识别的左心室测量方法、装置以及计算机设备 |
CN112700445A (zh) * | 2021-03-23 | 2021-04-23 | 上海市东方医院(同济大学附属东方医院) | 图像处理方法、装置及系统 |
CN112862830A (zh) * | 2021-01-28 | 2021-05-28 | 陕西师范大学 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
CN113139627A (zh) * | 2021-06-22 | 2021-07-20 | 北京小白世纪网络科技有限公司 | 纵隔肿物识别方法、系统及装置 |
CN113241184A (zh) * | 2021-06-24 | 2021-08-10 | 华侨大学 | 一种儿童肺炎辅助诊断模型及其训练方法 |
TWI740309B (zh) * | 2019-07-18 | 2021-09-21 | 大陸商北京市商湯科技開發有限公司 | 圖像處理方法及裝置、電子設備和電腦可讀儲存介質 |
CN113592766A (zh) * | 2021-05-21 | 2021-11-02 | 东南大学 | 一种基于深度序列信息融合的冠脉造影图像分割方法 |
CN113610785A (zh) * | 2021-07-26 | 2021-11-05 | 安徽理工大学 | 基于智能影像的尘肺预警方法、装置及存储介质 |
CN113628223A (zh) * | 2021-08-05 | 2021-11-09 | 杭州隐捷适生物科技有限公司 | 基于深度学习的牙科cbct三维牙齿分割方法 |
CN113706695A (zh) * | 2021-09-01 | 2021-11-26 | 杭州柳叶刀机器人有限公司 | 深度学习进行3d股骨头建模的系统及方法、存储介质 |
CN113706541A (zh) * | 2020-05-20 | 2021-11-26 | 青岛海信医疗设备股份有限公司 | 一种图像处理方法及装置 |
CN113850818A (zh) * | 2021-08-27 | 2021-12-28 | 北京工业大学 | 一种混合2d和3d卷积神经网络的耳部ct影像前庭分割方法 |
WO2022007957A1 (zh) * | 2020-07-10 | 2022-01-13 | 北京医智影科技有限公司 | 用于对图像进行自动处理的网络架构、程序载体和工作站 |
CN114187582A (zh) * | 2021-11-17 | 2022-03-15 | 电子科技大学 | 一种基于人工神经网络技术的人工心肺机数据记录方法 |
CN114581459A (zh) * | 2022-02-08 | 2022-06-03 | 浙江大学 | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 |
US20220189149A1 (en) * | 2019-09-27 | 2022-06-16 | Fujifilm Corporation | Information processing apparatus, method for operating information processing apparatus, and operating program of information processing apparatus |
CN114898110A (zh) * | 2022-04-25 | 2022-08-12 | 四川大学 | 一种基于全分辨率表示网络的医学图像分割方法 |
WO2022183984A1 (zh) * | 2021-03-03 | 2022-09-09 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN115359060A (zh) * | 2022-10-21 | 2022-11-18 | 首都师范大学 | 一种肺炎ct影像的病灶实例分割方法及装置 |
CN111145186B (zh) * | 2019-12-17 | 2023-08-22 | 中国科学院深圳先进技术研究院 | 神经网络结构、图像分割方法、装置及存储介质 |
CN111882560B (zh) * | 2020-06-16 | 2024-05-31 | 北京工业大学 | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107316307A (zh) * | 2017-06-27 | 2017-11-03 | 北京工业大学 | 一种基于深度卷积神经网络的中医舌图像自动分割方法 |
WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
CN107624193A (zh) * | 2015-04-29 | 2018-01-23 | 西门子公司 | 腹腔镜和内窥镜2d/2.5d图像数据中语义分割的方法和系统 |
CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
CN108319957A (zh) * | 2018-02-09 | 2018-07-24 | 深圳市唯特视科技有限公司 | 一种基于超点图的大规模点云语义分割方法 |
CN108427951A (zh) * | 2018-02-08 | 2018-08-21 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
CN108492272A (zh) * | 2018-03-26 | 2018-09-04 | 西安交通大学 | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 |
CN108596884A (zh) * | 2018-04-15 | 2018-09-28 | 桂林电子科技大学 | 一种胸部ct图像中的食管癌分割方法 |
-
2018
- 2018-11-28 CN CN201811436267.XA patent/CN109598727B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107624193A (zh) * | 2015-04-29 | 2018-01-23 | 西门子公司 | 腹腔镜和内窥镜2d/2.5d图像数据中语义分割的方法和系统 |
WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
CN107316307A (zh) * | 2017-06-27 | 2017-11-03 | 北京工业大学 | 一种基于深度卷积神经网络的中医舌图像自动分割方法 |
CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
CN108427951A (zh) * | 2018-02-08 | 2018-08-21 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
CN108319957A (zh) * | 2018-02-09 | 2018-07-24 | 深圳市唯特视科技有限公司 | 一种基于超点图的大规模点云语义分割方法 |
CN108492272A (zh) * | 2018-03-26 | 2018-09-04 | 西安交通大学 | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 |
CN108596884A (zh) * | 2018-04-15 | 2018-09-28 | 桂林电子科技大学 | 一种胸部ct图像中的食管癌分割方法 |
Non-Patent Citations (3)
Title |
---|
PATRICK FERDINAND CHRIST 等: "Automatic Liver and Tumor Segmentation of CT and MRI", 《ARXIV》 * |
TOBIAS FECHTER 等: "Esophagus segmentation in CT via 3D fully convolutional neural network and__random walk", 《MEDICAL PHYSICS》 * |
张岩: "室内场景下行人检测与跟踪技术的研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (80)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084796A (zh) * | 2019-04-24 | 2019-08-02 | 徐州云联医疗科技有限公司 | 一种复杂纹理ct图像的分析方法 |
CN110415253A (zh) * | 2019-05-06 | 2019-11-05 | 南京大学 | 一种基于深度神经网络的点交互式医学图像分割方法 |
CN110136119A (zh) * | 2019-05-16 | 2019-08-16 | 杭州健培科技有限公司 | 一种基于深度学习的肺裂分割及完整性评估的方法和系统 |
CN110211146A (zh) * | 2019-05-16 | 2019-09-06 | 中国人民解放军陆军工程大学 | 视交叉仿真的视频前景分割方法及装置 |
CN110211146B (zh) * | 2019-05-16 | 2020-03-24 | 中国人民解放军陆军工程大学 | 视交叉仿真的视频前景分割方法及装置 |
CN110288611A (zh) * | 2019-06-12 | 2019-09-27 | 上海工程技术大学 | 基于注意力机制和全卷积神经网络的冠状血管分割方法 |
CN110211140A (zh) * | 2019-06-14 | 2019-09-06 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
CN110276755A (zh) * | 2019-06-25 | 2019-09-24 | 广东工业大学 | 一种肿瘤位置定位系统及相关装置 |
CN110276755B (zh) * | 2019-06-25 | 2021-07-06 | 广东工业大学 | 一种肿瘤位置定位系统及相关装置 |
CN112168138A (zh) * | 2019-07-02 | 2021-01-05 | 爱科维申科技(天津)有限公司 | 基于fcn和gru的鸡蛋胚胎成活性分类方法 |
TWI740309B (zh) * | 2019-07-18 | 2021-09-21 | 大陸商北京市商湯科技開發有限公司 | 圖像處理方法及裝置、電子設備和電腦可讀儲存介質 |
CN110363760B (zh) * | 2019-07-22 | 2021-11-30 | 广东工业大学 | 用于识别医学图像的计算机系统 |
CN110363760A (zh) * | 2019-07-22 | 2019-10-22 | 广东工业大学 | 用于识别医学图像的计算机系统 |
CN110555853B (zh) * | 2019-08-07 | 2022-07-19 | 杭州深睿博联科技有限公司 | 基于解剖学先验的分割算法评估的方法和装置 |
CN110555853A (zh) * | 2019-08-07 | 2019-12-10 | 杭州深睿博联科技有限公司 | 基于解剖学先验的分割算法评估的方法和装置 |
CN110569851A (zh) * | 2019-08-28 | 2019-12-13 | 广西师范大学 | 门控多层融合的实时语义分割方法 |
CN110569851B (zh) * | 2019-08-28 | 2022-03-15 | 广西师范大学 | 门控多层融合的实时语义分割方法 |
CN110610489A (zh) * | 2019-08-30 | 2019-12-24 | 西安电子科技大学 | 基于注意力机制的光学喉镜图像病变区标注方法 |
CN110610489B (zh) * | 2019-08-30 | 2021-11-23 | 西安电子科技大学 | 基于注意力机制的光学喉镜图像病变区标注方法 |
CN110728178B (zh) * | 2019-09-02 | 2022-03-15 | 武汉大学 | 一种基于深度学习的事件相机车道线提取方法 |
CN110728178A (zh) * | 2019-09-02 | 2020-01-24 | 武汉大学 | 一种基于深度学习的事件相机车道线提取方法 |
WO2021051555A1 (zh) * | 2019-09-16 | 2021-03-25 | 平安科技(深圳)有限公司 | 基于图像识别的左心室测量方法、装置以及计算机设备 |
CN110689547A (zh) * | 2019-09-25 | 2020-01-14 | 重庆大学 | 一种基于三维ct影像的肺结节分割方法 |
CN110675411B (zh) * | 2019-09-26 | 2023-05-16 | 重庆大学 | 基于深度学习的宫颈鳞状上皮内病变识别算法 |
CN110675411A (zh) * | 2019-09-26 | 2020-01-10 | 重庆大学 | 基于深度学习的宫颈鳞状上皮内病变识别算法 |
US20220189149A1 (en) * | 2019-09-27 | 2022-06-16 | Fujifilm Corporation | Information processing apparatus, method for operating information processing apparatus, and operating program of information processing apparatus |
CN112419343A (zh) * | 2019-11-27 | 2021-02-26 | 上海联影智能医疗科技有限公司 | 用于图像分割的系统和方法 |
CN111145186B (zh) * | 2019-12-17 | 2023-08-22 | 中国科学院深圳先进技术研究院 | 神经网络结构、图像分割方法、装置及存储介质 |
CN111260705A (zh) * | 2020-01-13 | 2020-06-09 | 武汉大学 | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 |
CN111260705B (zh) * | 2020-01-13 | 2022-03-15 | 武汉大学 | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 |
CN111340756B (zh) * | 2020-02-13 | 2023-11-28 | 北京深睿博联科技有限责任公司 | 一种医学图像病变检出合并方法、系统、终端及存储介质 |
CN111340756A (zh) * | 2020-02-13 | 2020-06-26 | 北京深睿博联科技有限责任公司 | 一种医学图像病变检出合并方法、系统、终端及存储介质 |
CN111325766A (zh) * | 2020-02-20 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 三维边缘检测方法、装置、存储介质和计算机设备 |
CN111325766B (zh) * | 2020-02-20 | 2023-08-25 | 腾讯科技(深圳)有限公司 | 三维边缘检测方法、装置、存储介质和计算机设备 |
CN111462100A (zh) * | 2020-04-07 | 2020-07-28 | 广州柏视医疗科技有限公司 | 基于新型冠状病毒肺炎ct检测的检测设备及其使用方法 |
CN113706541A (zh) * | 2020-05-20 | 2021-11-26 | 青岛海信医疗设备股份有限公司 | 一种图像处理方法及装置 |
CN113706541B (zh) * | 2020-05-20 | 2024-04-19 | 青岛海信医疗设备股份有限公司 | 一种图像处理方法及装置 |
CN111612722B (zh) * | 2020-05-26 | 2023-04-18 | 星际(重庆)智能装备技术研究院有限公司 | 基于简化Unet全卷积神经网络的低照度图像处理方法 |
CN111612722A (zh) * | 2020-05-26 | 2020-09-01 | 星际(重庆)智能装备技术研究院有限公司 | 基于简化Unet全卷积神经网络的低照度图像处理方法 |
CN111724360B (zh) * | 2020-06-12 | 2023-06-02 | 深圳技术大学 | 一种肺叶分割方法、装置和存储介质 |
CN111724360A (zh) * | 2020-06-12 | 2020-09-29 | 深圳技术大学 | 一种肺叶分割方法、装置和存储介质 |
CN111882560B (zh) * | 2020-06-16 | 2024-05-31 | 北京工业大学 | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 |
CN111882560A (zh) * | 2020-06-16 | 2020-11-03 | 北京工业大学 | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 |
CN111915553A (zh) * | 2020-06-18 | 2020-11-10 | 杭州深睿博联科技有限公司 | 基于时序建模的部位识别方法和装置 |
CN111782529B (zh) * | 2020-06-30 | 2023-08-01 | 深圳平安智慧医健科技有限公司 | 辅助诊断系统的测试方法、装置、计算机设备及存储介质 |
CN111782529A (zh) * | 2020-06-30 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 辅助诊断系统的测试方法、装置、计算机设备及存储介质 |
WO2022007957A1 (zh) * | 2020-07-10 | 2022-01-13 | 北京医智影科技有限公司 | 用于对图像进行自动处理的网络架构、程序载体和工作站 |
CN111815764A (zh) * | 2020-07-21 | 2020-10-23 | 西北工业大学 | 基于自监督3d全卷积神经网络的超声三维重建方法 |
CN111914925A (zh) * | 2020-07-28 | 2020-11-10 | 复旦大学 | 一种基于深度学习的患者行为多模态感知与分析系统 |
CN112070685B (zh) * | 2020-08-10 | 2023-08-18 | 武汉大学 | Hifu治疗系统的动态软组织运动预测的方法 |
CN112070685A (zh) * | 2020-08-10 | 2020-12-11 | 武汉大学 | Hifu治疗系统的动态软组织运动预测的方法 |
CN111950714A (zh) * | 2020-08-24 | 2020-11-17 | 重庆市云迈科技有限公司 | 一种基于3d全卷积神经网络的能谱ct图像域材料识别方法 |
CN112116605A (zh) * | 2020-09-29 | 2020-12-22 | 西北工业大学深圳研究院 | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 |
CN112419330B (zh) * | 2020-10-16 | 2024-05-24 | 北京工业大学 | 一种基于空间相对位置先验的颞骨关键解剖结构自动定位方法 |
CN112419330A (zh) * | 2020-10-16 | 2021-02-26 | 北京工业大学 | 一种基于空间相对位置先验的颞骨关键解剖结构自动定位方法 |
CN112419247A (zh) * | 2020-11-12 | 2021-02-26 | 复旦大学 | 基于机器学习的mr图像脑肿瘤检测方法和系统 |
CN112365498A (zh) * | 2020-12-10 | 2021-02-12 | 南京大学 | 一种针对二维图像序列中多尺度多形态目标的自动检测方法 |
CN112365498B (zh) * | 2020-12-10 | 2024-01-23 | 南京大学 | 一种针对二维图像序列中多尺度多形态目标的自动检测方法 |
CN112862830B (zh) * | 2021-01-28 | 2023-12-22 | 陕西师范大学 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
CN112862830A (zh) * | 2021-01-28 | 2021-05-28 | 陕西师范大学 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
WO2022183984A1 (zh) * | 2021-03-03 | 2022-09-09 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN112700445A (zh) * | 2021-03-23 | 2021-04-23 | 上海市东方医院(同济大学附属东方医院) | 图像处理方法、装置及系统 |
CN112700445B (zh) * | 2021-03-23 | 2021-06-29 | 上海市东方医院(同济大学附属东方医院) | 图像处理方法、装置及系统 |
CN113592766A (zh) * | 2021-05-21 | 2021-11-02 | 东南大学 | 一种基于深度序列信息融合的冠脉造影图像分割方法 |
CN113592766B (zh) * | 2021-05-21 | 2022-09-02 | 东南大学 | 一种基于深度序列信息融合的冠脉造影图像分割方法 |
CN113139627A (zh) * | 2021-06-22 | 2021-07-20 | 北京小白世纪网络科技有限公司 | 纵隔肿物识别方法、系统及装置 |
CN113139627B (zh) * | 2021-06-22 | 2021-11-05 | 北京小白世纪网络科技有限公司 | 纵隔肿物识别方法、系统及装置 |
CN113241184A (zh) * | 2021-06-24 | 2021-08-10 | 华侨大学 | 一种儿童肺炎辅助诊断模型及其训练方法 |
CN113241184B (zh) * | 2021-06-24 | 2022-07-29 | 华侨大学 | 一种儿童肺炎辅助诊断模型及其训练方法 |
CN113610785A (zh) * | 2021-07-26 | 2021-11-05 | 安徽理工大学 | 基于智能影像的尘肺预警方法、装置及存储介质 |
CN113628223A (zh) * | 2021-08-05 | 2021-11-09 | 杭州隐捷适生物科技有限公司 | 基于深度学习的牙科cbct三维牙齿分割方法 |
CN113850818A (zh) * | 2021-08-27 | 2021-12-28 | 北京工业大学 | 一种混合2d和3d卷积神经网络的耳部ct影像前庭分割方法 |
CN113706695A (zh) * | 2021-09-01 | 2021-11-26 | 杭州柳叶刀机器人有限公司 | 深度学习进行3d股骨头建模的系统及方法、存储介质 |
CN113706695B (zh) * | 2021-09-01 | 2023-06-23 | 杭州柳叶刀机器人有限公司 | 深度学习进行3d股骨头建模的系统及方法、存储介质 |
CN114187582A (zh) * | 2021-11-17 | 2022-03-15 | 电子科技大学 | 一种基于人工神经网络技术的人工心肺机数据记录方法 |
CN114187582B (zh) * | 2021-11-17 | 2023-04-21 | 电子科技大学 | 一种基于人工神经网络技术的人工心肺机数据记录方法 |
CN114581459A (zh) * | 2022-02-08 | 2022-06-03 | 浙江大学 | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 |
CN114898110B (zh) * | 2022-04-25 | 2023-05-09 | 四川大学 | 一种基于全分辨率表示网络的医学图像分割方法 |
CN114898110A (zh) * | 2022-04-25 | 2022-08-12 | 四川大学 | 一种基于全分辨率表示网络的医学图像分割方法 |
CN115359060A (zh) * | 2022-10-21 | 2022-11-18 | 首都师范大学 | 一种肺炎ct影像的病灶实例分割方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109598727B (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109598727A (zh) | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 | |
Maulik | Medical image segmentation using genetic algorithms | |
CN109685776A (zh) | 一种基于ct图像的肺结节检测方法及系统 | |
CN108537793A (zh) | 一种基于改进的u-net网络的肺结节检测方法 | |
CN111091527A (zh) | 一种病理组织切片图像中病变区域自动检测方法及系统 | |
CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
Ypsilantis et al. | Recurrent convolutional networks for pulmonary nodule detection in CT imaging | |
JP2019114262A (ja) | 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム | |
CN110782427B (zh) | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 | |
CN108470337A (zh) | 一种基于图像深度特征的亚实性肺结节定量分析方法及系统 | |
Curiale et al. | Automatic myocardial segmentation by using a deep learning network in cardiac MRI | |
CN112634273B (zh) | 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 | |
CN114693933A (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
Sammouda | Segmentation and analysis of CT chest images for early lung cancer detection | |
CN114359642A (zh) | 基于一对一目标查询Transformer的多模态医学图像多器官定位方法 | |
Liu et al. | Automatic segmentation algorithm of ultrasound heart image based on convolutional neural network and image saliency | |
CN114596317A (zh) | 一种基于深度学习的ct影像全心脏分割方法 | |
CN110415253A (zh) | 一种基于深度神经网络的点交互式医学图像分割方法 | |
CN112598613A (zh) | 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法 | |
CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
Milletari et al. | Robust segmentation of various anatomies in 3d ultrasound using hough forests and learned data representations | |
Roy et al. | Automated medical image segmentation: a survey | |
Ibrahim et al. | Deep learning based Brain Tumour Classification based on Recursive Sigmoid Neural Network based on Multi-Scale Neural Segmentation | |
Cao et al. | 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans | |
CN112348826A (zh) | 一种基于测地线距离和V-net的交互式肝脏分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |