CN112330686A - 肺部支气管的分割及标定方法 - Google Patents
肺部支气管的分割及标定方法 Download PDFInfo
- Publication number
- CN112330686A CN112330686A CN201910719059.9A CN201910719059A CN112330686A CN 112330686 A CN112330686 A CN 112330686A CN 201910719059 A CN201910719059 A CN 201910719059A CN 112330686 A CN112330686 A CN 112330686A
- Authority
- CN
- China
- Prior art keywords
- airway
- region
- lung
- name
- airway tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 61
- 210000000621 bronchi Anatomy 0.000 title claims abstract description 19
- 238000002372 labelling Methods 0.000 claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims description 27
- 238000012512 characterization method Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000011477 surgical intervention Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000012010 growth Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000002685 pulmonary effect Effects 0.000 description 4
- 230000034655 secondary growth Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013152 interventional procedure Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000003437 trachea Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种肺部支气管的分割及标定方法,包括:步骤S1:于影像数据中提取肺部气道树区域;步骤S2:根据肺部气道树区域设定感兴趣体素区域,并对感兴趣体素区域进行锐化滤波处理;步骤S3:根据处理后的感兴趣体素区域通过深度学习卷积神经网络对感兴趣体素区域进行分类,去除渗漏并追踪气道分支,获得优化后的肺部气道树区域;步骤S4:于优化后的肺部气道树区域中提取气道树结构信息,根据肺部气道树区域及气道树结构信息通过肺部气道名称标注模型获得每枝气道的候选名称集合及每个候选名称的权值;步骤S5:根据权值对每一组气道树的名称进行优化,实施气道树名称精准自动标注,获得气道名称信息。
Description
技术领域
本发明涉及一种肺部支气管的分割及标定方法,特别涉及一种基于体素锐化追踪与深度学习卷积神经网络的肺部气道精准自动分割及基于深度学习卷积神经网络的肺部支气管名称自动标定的方法。
背景技术
现有的肺部气道的分割方法主要以自适应区域生长方法为主,即自动或手动选区种子点,以种子点为起始,在6邻域或26邻域内选择候选点,根据生长准则判断候选点是否为目标点,再将目标点作为新的种子点进行下一次的自适应生长。这一类方法通过多种不同算法实现,这些算法区别主要在于生长准则的设置。有的区域生长算法直接比较体素值的差值,差值在一定范围内的体素认为在同一个区域内,这种方法比较简单,但很容易受噪声的影响造成欠分割。同时,有人提出双阈值算法来改进上述算法,但总体效果一般,速度慢且能发现的气道分支不多。此外,有的方法是用影像灰度值作为生长准则做一次生长,然后加入二次生长,二次生长准则加入专业经验,将气道结构特征与计算出来的特征(Hess ian特征)之间的关系对应,从而判断体素是否符合生长准则;但这种算法的缺点是速度慢,设定二次生长增加计算量,并且判断二次生长准则的计算量大。
由于肺部气道是一个复杂的树状结构器官,在呼吸道内镜手术介入过程,医生(尤其是年轻医生名称标定)很难把握内镜在肺部所处的位置,往往需要参考肺部气道器官结构图纸,来操作内镜的行进走向。这给介入手术增加难度、手术风险与手术时间,也会导致手术误操作。
因此急需开发一种克服上述缺陷的肺部支气管的分割及标定方法。
发明内容
针对上述问题,本发明为解决上述技术问题提供一种肺部支气管的分割及标定方法,其中,包括:
步骤S1:于影像数据中提取肺部气道树区域;
步骤S2:根据所述肺部气道树区域设定感兴趣体素区域,并对所述感兴趣体素区域进行锐化滤波处理;
步骤S3:根据处理后的所述感兴趣体素区域通过深度学习卷积神经网络对所述感兴趣体素区域进行分类,去除渗漏并追踪气道分支,获得优化后的所述肺部气道树区域;
步骤S4:于优化后的所述肺部气道树区域中提取气道树结构信息,根据所述肺部气道树区域及所述气道树结构信息通过肺部气道名称标注模型获得每枝气道的候选名称集合及每个候选名称的权值;
步骤S5:根据所述权值对每一组气道树的名称进行优化,实施气道树名称精准自动标注,获得气道名称信息。
上述的分割及标定方法,其中,于所述步骤S1中包括:
步骤S11:对所述影像数据进行平滑处理,以除去所述影像数据中的噪声;
步骤S12:于处理后的所述影像数据上设置种子点形成种子点集合;
步骤S13:根据所述种子点集合通过区域生长算法于影像数据中提取所述肺部气道树区域。
上述的分割及标定方法,其中,于所述步骤S2中包括:
步骤S21:根据提取到的所述肺部气道树区域定义与设置初始感兴趣体素区域,并确定多个感兴趣体素区域参数;
步骤S22:引入锐化滤波,利用高斯拉普拉斯算子,对所述初始感兴趣体素区域进行局部增强;
步骤S23:所述感兴趣体素区域中体素灰度值小于拉普拉斯核中心体素灰度值进行拉普拉斯卷积,使轮廓边缘灰度增大而轮廓内部灰度减小,获得最终感兴趣体素区域。
上述的分割及标定方法,其中,于所述步骤S3中包括:
步骤S31:根据所述最终感兴趣体素区域通过所述深度学习卷积神经网络提取所述最终感兴趣体素区域中的气道部分去除渗漏,更新所述肺部气道树区域;
步骤S32:判断更新后的所述肺部气道树区域中存在的分支数,如果为0,则停止对所述肺部气道树区域的追踪;如果为1,则所述肺部气道树区域向支气管延伸方向移动一个体素的距离,执行步骤S31;如果分支数大于1,则设置子气道区域;
步骤S33:基于条件随机场的气道轮廓修正方法对更新后的所述肺部气道树区域进行修正;
步骤S34:对修正后的所述肺部气道树区域进行支气管分叉部位识别,获得优化后的所述肺部气道树区域。
上述的分割及标定方法,其中,于所述步骤S4中包括:
步骤S41:于优化后的所述肺部气道树区域中提取气道树结构信息,根据所述肺部气道树区域及所述气道树结构信息通过肺部气道名称标注模型获得每枝气道的候选名称集合及每个候选名称的权值;
步骤S42:根据所述候选名称集合构建气道树名称组合,每一组所述气道树名称组合包含每枝气道候选名称的权值;
步骤S43:根据每枝气道候选名称的权值,对每一组气道树的各个名称进行优化后,对气道树名称精准自动标注,获得气道名称信息。
上述的分割及标定方法,其中,于所述步骤S5中包括:
根据所述权值对每一组气道树的名称进行优化,实施气道树名称精准自动标注,获得气道名称信息。
上述的分割及标定方法,其中,于所述步骤S41中包括:
步骤S411:于优化后的所述肺部气道树区域中提取气道树结构信息;
步骤S412:根据气道树结构信息获得每枝气道的参数化气道表征值;
步骤S413:根据所述参数化气道表征值,标定每枝气道名称,再根据把所述参数化气道表征值及其对应所标注的气道名称通过图神经网络深度进行学习与训练,获得肺部气道名称标注模型;
步骤S414:根据所述肺部气道树区域及所述气道树结构信息通过所述肺部气道名称标注模型获得每枝气道的候选名称集合及每个候选名称的权值。
上述的分割及标定方法,其中,还包括:
步骤S6:根据所述气道名称信息,结合实时支气管镜视频图像,对手术介入过程进行引导。
上述的分割及标定方法,其中,于所述参数化气道表征值包括:本气道长度、本气道走向、本气道的子气道个数、本气道起点与主气道终点的之间距离、本气道的子气道平均走向、本气道终点与其父气道的起点之间的相对距离、本气道的兄弟气道走向、本气道的子气道之间夹角、本气道与父气道之间的夹角、本气道与祖父气道之间的夹角、本气道的父气道与祖父气道之间的夹角以及本气道与主气道之间的夹角。
上述的分割及标定方法,其中,所述深度学习卷积神经网络为三维深度监督网络、三维U-Net网络与三维V-Net网络中的一者。
本发明针对于现有技术其功效在于:
1)定义与追踪长方体感兴趣体素区域,考虑气道的空间立体区域中体素间的关系,引入气道边缘体素锐化滤波、深度学习卷积神经网络和条件随机场气道轮廓修正方法,进行肺部气道精准自动提取,能够减少渗露情况,降低影像部分容积效应和影像噪声的影响,大幅度提高检测气道分支个数并修补使之完整,最终全面提高分割精度与速度;
2)提出了与定义了肺部气道的参数化气道表征值,引入图神经网络深度学习方法,生成因果推理模型,能够自动精准标注肺部气道名称,可以减少优化时间,提高气道名称自动标注精度与速度。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明肺部支气管的分割及标定方法的流程图;
图2为图1中步骤S1的分步骤流程图;
图3为图1中步骤S2的分步骤流程图;
图4为图1中步骤S3的分步骤流程图;
图5为图1中步骤S4的分步骤流程图;
图6为图5中步骤S411的分步骤流程图;
图7为感兴趣体素区域设置示意图;
图8为分割过程示意图;
图9位标定过程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地说明,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。另外,在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
关于本文中所使用的“第一”、“第二”、…等,并非特别指称次序或顺位的意思,也非用以限定本发明,其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的方向用语,例如:上、下、左、右、前或后等,仅是参考附图的方向。因此,使用的方向用语是用来说明并非用来限制本创作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等,均为开放性的用语,即意指包含但不限于。
关于本文中所使用的“及/或”,包括所述事物的任一或全部组合。
关于本文中的“多个”包括“两个”及“两个以上”;关于本文中的“多组”包括“两组”及“两组以上”。
关于本文中所使用的用语“大致”、“约”等,用以修饰任何可以微变化的数量或误差,但这些微变化或误差并不会改变其本质。一般而言,此类用语所修饰的微变化或误差的范围在部分实施例中可为20%,在部分实施例中可为10%,在部分实施例中可为5%或是其他数值。本领域技术人员应当了解,前述提及的数值可依实际需求而调整,并不以此为限。
请参照图1及图8,图1为本发明肺部支气管的分割及标定方法的流程图;图8为分割过程示意图。如图1及图8所示,本发明的肺部支气管的分割及标定方法包括以下步骤:
步骤S1:于影像数据中提取肺部气道树区域;
请参照图2,图2为图1中步骤S1的分步骤流程图。如图2所示,于步骤S1中包括:
步骤S11:对影像数据进行平滑处理,以除去影像数据中的噪声。
具体地说,计算影像数据的空气体素的平均梯度值,确定噪声级数,然后利用基于Leve l-Set方法的各向异性扩散滤波进行除噪,图像滤波次数取决于噪声级数。
步骤S12:于处理后的影像数据上设置种子点形成种子点集合。
步骤S13:根据种子点集合通过区域生长算法于影像数据中提取肺部气道树区域。
具体地说,使用区域生长算法提取气道树,区域生长算法是指将成组的像素或区域发展成更大区域的过程,具体指从种子点的集合开始,通过将与每个种子点有相似属性像强度、灰度级、纹理颜色等的相邻像素合并到此区域。种子点的设置可以使用人工设置也可以自动获取。种子点自动获取方法具体为:通过设定阈值,在某一个影像数据的图像断面上,得到一个二值图像;然后自动检测二值图中的连通区域,通过判断连通区域大小来找到主气管位置,获取主气管中心位置作为种子点。获取种子点后,使用任意一种区域生长方法初步提取影像数据中的所有肺部气道树区域。
步骤S2:根据肺部气道树区域设定感兴趣体素区域,并对感兴趣体素区域进行锐化滤波处理。
请参照图3及图7,图3为中步骤S2图1的分步骤流程图;图7为感兴趣体素区域设置示意图。如图3及图7所示,于步骤S2中包括:
步骤S21:根据提取到的肺部气道树区域定义与设置初始感兴趣体素区域,并确定多个感兴趣体素区域参数。
其中,在本实施例中,感兴趣体素区域为长方体感兴趣体素区域(图7),长方体感兴趣体素区域参数包括8个结点D1-D8确定边界、管腔的重心G、上下截面及其2个中心点P1、P2。
步骤S22:引入锐化滤波,利用高斯拉普拉斯算子,对初始感兴趣体素区域进行局部增强。
步骤S23:感兴趣体素区域中体素灰度值小于拉普拉斯核中心体素灰度值进行拉普拉斯卷积,使轮廓边缘灰度增大而轮廓内部灰度减小,获得最终感兴趣体素区域。
具体地说,由于医学成像的部分容积效应,会导致管腔特征丢失,尤其是支气管气道轮廓模糊。针对这个问题,本发明拟引入锐化滤波,利用高斯拉普拉斯算子,对上述定义的长方体感兴趣体素区域进行局部增强,再对长方体感兴趣体素区域中体素灰度值小于拉普拉斯核中心体素灰度值进行拉普拉斯卷积,使轮廓边缘灰度增大而轮廓内部灰度减小。最终,获得长方体感兴趣体素区域锐化的处理结果。
步骤S3:根据处理后的感兴趣体素区域通过深度学习卷积神经网络对感兴趣体素区域进行分类,去除渗漏并追踪气道分支,获得优化后的肺部气道树区域。
其中,在本实施例中,深度学习卷积神经网络为三维深度监督网络,但本发明并不以此为限,在其他实施例中,深度学习卷积神经网络还可为三维U-Net网络或三维V-Net网络。以三维深度监督网络为例,本发明的三维深度监督网络包括三维全卷积网络、三维去卷积层以及三维深度监督机制。三维全卷积网络主要包括三维卷积层和三维子采样层。三维卷积是使用基于随机梯度下降的非线性核函数(激活函数)。在三维子采样过程中,引入最大池化函数,减少卷积层输出特征与参数,同时使得学习过的特征在三维空间中保持局部平移不变性。引入三维去卷积层的目的是为了解决三维全卷积网络输出结果的稀疏性问题。深度网路训练存在梯度消失与爆炸,从而导致反向传播失效和训练不收敛。针对这些问题,引入三维深度监督机制和辅助损失误差分类方法。使用三维深度学习卷积神经网络方法提取与优化气道,可加快优化速度与大幅度提高分割精度。在深度学习卷积神经网络的分类过程中,输入三维长方体感兴趣区域而非单个体素信息,这样考虑到了体素间的区域关系,减少信息丢失,降低噪声影响。
请参照图4,图4为图1中步骤S3的分步骤流程图。如图4所示,于步骤S3中包括:
步骤S31:根据最终感兴趣体素区域通过深度学习卷积神经网络提取最终感兴趣体素区域中的气道部分去除渗漏,更新肺部气道树区域。
步骤S32:判断更新后的肺部气道树区域中存在的分支数,如果为0,则停止对肺部气道树区域的追踪;如果为1,则肺部气道树区域向支气管延伸方向移动一个体素的距离,执行步骤S31;如果分支数大于1,则设置子气道区域。
步骤S33:基于条件随机场的气道轮廓修正方法对更新后的所述肺部气道树区域进行修正。
具体地说,尽管基于图像锐化和深度学习卷积神经网络体素分类后,大部分支气管轮廓已经被精确分割出来,但是在对一些特定模糊区域的轮廓分割仍不精确。因此,本发明拟引入基于条件随机场的气道轮廓修正方法,进一步提高分割精度。基于条件随机场模型的轮廓修正方法,首先定义一个能量代价函数,该函数包含了体素条件概率函数和对体素进行双边滤波后的输出量,其中,体素条件概率函数的初始化为基于三维深度监督网络分类的最终结果与中间预测结果的线性组合;然后实施优化,最终获得修正后的结果。
步骤S34:对修正后的肺部气道树区域进行支气管分叉部位识别,获得优化后的肺部气道树区域。
具体地说,支气管分叉部位的识别是基于修正结果中的连通区域个数分析。分叉部位的个数取决于连通区域的个数Nc。在每一个经过锐化、分类和修正处理后的长方体的D5D6D7D8截面(图7)上,利用二分查找方法,检测该截面上的连通区域的个数Nc:(1)若Nc=0,则无分叉部位,停止检测;(2)若Nc=1,则扩展长方体区域,重复上述步骤进行分割,直到该枝气管全部分割出来;(3)若Nc=2或3,则分叉部位已成功检测到,然后连接G与P2(图7),在该方向GP2上继续追踪(设置)子长方体区域,重复上述步骤进行分割,直到所有支气管区域分割出来。
请参照图9并请结合图1,图9位标定过程示意图。步骤S4:于优化后的肺部气道树区域中提取气道树结构信息,根据肺部气道树区域及气道树结构信息通过肺部气道名称标注模型获得每枝气道的候选名称集合及每个候选名称的权值。
请参照图5,图5为图1中步骤S4的分步骤流程图。如图5所示,于步骤S4中包括:
步骤S41:于优化后的肺部气道树区域中提取气道树结构信息,根据肺部气道树区域及气道树结构信息通过肺部气道名称标注模型获得每枝气道的候选名称集合及每个候选名称的权值。
步骤S42:根据候选名称集合构建气道树名称组合,每一组气道树名称组合包含每枝气道候选名称的权值。
步骤S43:根据每枝气道候选名称的权值,对每一组气道树的各个名称进行优化后,进行气道树名称精准自动标注,并获得气道名称信息。
进一步地,请参照图6,图6为图5中步骤S411的分步骤流程图。如图6所示,于步骤S41中包括:
步骤S411:于优化后的肺部气道树区域中提取气道树结构信息。
步骤S412:根据气道树结构信息获得每枝气道的参数化气道表征值。
步骤S413:根据参数化气道表征值,标定每枝气道名称,再根据把参数化气道表征值及其对应所标注的气道名称通过图神经网络深度进行学习与训练,获得肺部气道名称标注模型。
步骤S414:根据肺部气道树区域及气道树结构信息通过肺部气道名称标注模型获得每枝气道的候选名称集合及每个候选名称的权值。
具体地说,首先,基于上述的气道自动分割结果,根据气道树结构信息计算每枝气道的12种参数化气道表征值:本气道长度、本气道走向、本气道的子气道个数、本气道起点与主气道终点的之间距离、本气道的子气道平均走向、本气道终点与其父气道的起点之间的相对距离(位置)、本气道的兄弟气道走向、本气道的子气道之间夹角、本气道与父气道之间的夹角、本气道与祖父气道之间的夹角、本气道的父气道与祖父气道之间的夹角以及本气道与主气道之间的夹角。其中,气道树结构信息至少包括各个气道的起始点与终点的位置、中心线、半径大小以及分叉角度等信息。
本发明定义的12种参数化气道表征值能够精确表达与量化每枝支气管,且在精准分割气道树的同时,可以获得气道起点与终点、中心线、长度、半径、每个影像切片气道区域的中心点、上一级气道与下一级气道的结构关系(父气道与子气道结构关系)等气道特征(表征)信息,并以特有的XML文件形式(格式)来表达与保存把这些气道的表征特征信息。
其次,基于上述参数化气道表征值,手动标定每枝气道名称,把参数化气道表征值及其对应所标注的气道名称输入图神经网络深度进行学习与训练,获得肺部气道名称标注模型。
再次,对于一个影像数据,使用上述基于体素锐化追踪与深度学习卷积神经网络的肺部气道自动分割方法,提取影像中气道区域,获得气道树结构信息。
最后,基于分割结果及气道树结构信息,结合基于图神经网络深度学习训练出来肺部气道名称标注模型,计算每枝气道的候选名称集合,同时计算每个候选名称的权值。
步骤S5:根据权值对每一组气道树的名称进行优化,实施气道树名称精准自动标注,获得气道名称信息。
进一步地,本发明的分割及标定方法,还包括:
步骤S6:根据气道名称信息,结合实时支气管镜视频图像,对手术介入过程进行引导。
综上所述,本发明提出了一种医学影像体素锐化、体素追踪、深度学习卷积神经网络以及条件随机场的轮廓修正的肺部气道自动分割的精准完整方案,同时还提供了一种基于图神经网络(GNN)深度学习的气道名称自动标注方法,由此实现考虑气道的空间立体区域中体素间的关系,引入体素锐化滤波和深度学习卷积神经网络方法,进行肺部气道精准自动提取,能够减少渗露情况,降低影像部分容积效应和影像噪声的影响,大幅度提高检测气道分支个数并修补使之完整,最终全面提高分割精度与速度,同时提出了与定义了肺部气道的参数化气道表征值,引入图神经网络深度学习方法,生成因果推理模型,能够自动精准标注肺部气道名称,可以减少优化时间,提高气道名称自动标注精度与速度,更能够可引导支气管镜手术介入。
尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种肺部支气管的分割及标定方法,其特征在于,包括:
步骤S1:于影像数据中提取肺部气道树区域;
步骤S2:根据所述肺部气道树区域设定感兴趣体素区域,并对所述感兴趣体素区域进行锐化滤波处理;
步骤S3:根据处理后的所述感兴趣体素区域通过深度学习卷积神经网络对所述感兴趣体素区域进行分类,去除渗漏并追踪气道分支,获得优化后的所述肺部气道树区域;
步骤S4:于优化后的所述肺部气道树区域中提取气道树结构信息,根据所述肺部气道树区域及所述气道树结构信息通过肺部气道名称标注模型获得每枝气道的候选名称集合及每个候选名称的权值;
步骤S5:根据所述权值对每一组气道树的名称进行优化,实施气道树名称精准自动标注,获得气道名称信息。
2.如权利要求1所述的分割及标定方法,其特征在于,于所述步骤S1中包括:
步骤S11:对所述影像数据进行平滑处理,以除去所述影像数据中的噪声;
步骤S12:于处理后的所述影像数据上设置种子点形成种子点集合;
步骤S13:根据所述种子点集合通过区域生长算法于影像数据中提取所述肺部气道树区域。
3.如权利要求1或2所述的分割及标定方法,其特征在于,于所述步骤S2中包括:
步骤S21:根据提取到的所述肺部气道树区域定义与设置初始感兴趣体素区域,并确定多个感兴趣体素区域参数;
步骤S22:引入锐化滤波,利用高斯拉普拉斯算子,对所述初始感兴趣体素区域进行局部增强;
步骤S23:所述感兴趣体素区域中体素灰度值小于拉普拉斯核中心体素灰度值进行拉普拉斯卷积,使轮廓边缘灰度增大而轮廓内部灰度减小,获得最终感兴趣体素区域。
4.如权利要求3所述的分割及标定方法,其特征在于,于所述步骤S3中包括:
步骤S31:根据所述最终感兴趣体素区域通过所述深度学习卷积神经网络提取所述最终感兴趣体素区域中的气道部分去除渗漏,更新所述肺部气道树区域;
步骤S32:判断更新后的所述肺部气道树区域中存在的分支数,如果为0,则停止对所述肺部气道树区域的追踪;如果为1,则所述肺部气道树区域向支气管延伸方向移动一个体素的距离,执行步骤S31;如果分支数大于1,则设置子气道区域;
步骤S33:基于条件随机场的气道轮廓修正方法对更新后的所述肺部气道树区域进行修正;
步骤S34:对修正后的所述肺部气道树区域进行支气管分叉部位识别,获得优化后的所述肺部气道树区域。
5.如权利要求3所述的分割及标定方法,其特征在于,于所述步骤S4中包括:
步骤S41:于优化后的所述肺部气道树区域中提取气道树结构信息,根据所述肺部气道树区域及所述气道树结构信息通过肺部气道名称标注模型获得每枝气道的候选名称集合及每个候选名称的权值;
步骤S42:根据所述候选名称集合构建气道树名称组合,每一组所述气道树名称组合包含每枝气道候选名称的权值;
步骤S43:根据每枝气道候选名称的权值,对每一组气道树的各个名称进行优化后,对气道树名称精准自动标注,获得气道名称信息。
6.如权利要求5所述的分割及标定方法,其特征在于,于所述步骤S5中包括:
根据所述权值对每一组气道树的名称进行优化,实施气道树名称精准自动标注,获得气道名称信息。
7.如权利要求5所述的分割及标定方法,其特征在于,于所述步骤S41中包括:
步骤S411:于优化后的所述肺部气道树区域中提取气道树结构信息;
步骤S412:根据气道树结构信息获得每枝气道的参数化气道表征值;
步骤S413:根据所述参数化气道表征值,标定每枝气道名称,再根据所述参数化气道表征值及其对应所标注的气道名称通过图神经网络深度进行学习与训练,获得肺部气道名称标注模型;
步骤S414:根据所述肺部气道树区域及所述气道树结构信息通过所述肺部气道名称标注模型获得每枝气道的候选名称集合及每个候选名称的权值。
8.如权利要求1所述的分割及标定方法,其特征在于,还包括:
步骤S6:根据所述气道名称信息,结合实时支气管镜视频图像,对手术介入过程进行引导。
9.如权利要求7所述的分割及标定方法,其特征在于,于所述参数化气道表征值包括:本气道长度、本气道走向、本气道的子气道个数、本气道起点与主气道终点的之间距离、本气道的子气道平均走向、本气道终点与其父气道的起点之间的相对距离、本气道的兄弟气道走向、本气道的子气道之间夹角、本气道与父气道之间的夹角、本气道与祖父气道之间的夹角、本气道的父气道与祖父气道之间的夹角以及本气道与主气道之间的夹角。
10.如权利要求1所述的分割及标定方法,其特征在于,所述深度学习卷积神经网络为三维深度监督网络、三维U-Net网络与三维V-Net网络中的一者。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910719059.9A CN112330686A (zh) | 2019-08-05 | 2019-08-05 | 肺部支气管的分割及标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910719059.9A CN112330686A (zh) | 2019-08-05 | 2019-08-05 | 肺部支气管的分割及标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112330686A true CN112330686A (zh) | 2021-02-05 |
Family
ID=74319630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910719059.9A Pending CN112330686A (zh) | 2019-08-05 | 2019-08-05 | 肺部支气管的分割及标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112330686A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112651969A (zh) * | 2021-02-08 | 2021-04-13 | 福州大学 | 结合多信息融合网络和区域增长的气管树分级提取方法 |
CN113011510A (zh) * | 2021-03-25 | 2021-06-22 | 推想医疗科技股份有限公司 | 一种支气管分级及模型训练方法、装置及电子设备 |
CN113222007A (zh) * | 2021-05-08 | 2021-08-06 | 推想医疗科技股份有限公司 | 支气管分级方法、模型训练方法、装置、设备及存储介质 |
CN113222006A (zh) * | 2021-05-08 | 2021-08-06 | 推想医疗科技股份有限公司 | 一种亚段支气管分级的方法、装置、设备及存储介质 |
CN113516669A (zh) * | 2021-06-23 | 2021-10-19 | 湖北英库科技有限公司 | 一种基于ct影像的气管提取方法、装置、设备及存储介质 |
CN113689355A (zh) * | 2021-09-10 | 2021-11-23 | 数坤(北京)网络科技股份有限公司 | 图像处理方法、装置、存储介质及计算机设备 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110094957A (ko) * | 2010-02-18 | 2011-08-24 | 중앙대학교 산학협력단 | 레인지 영상으로부터의 객체 분할 장치 및 방법 |
CN104992445A (zh) * | 2015-07-20 | 2015-10-21 | 河北大学 | 一种ct图像肺实质的自动分割方法 |
CN107480677A (zh) * | 2017-08-07 | 2017-12-15 | 北京深睿博联科技有限责任公司 | 一种识别三维ct图像中感兴趣区域的方法及装置 |
CN107507171A (zh) * | 2017-08-08 | 2017-12-22 | 东北大学 | 一种肺部ct图像气道三维骨架树状结构提取及标记方法 |
CN107578402A (zh) * | 2017-08-04 | 2018-01-12 | 上海斐讯数据通信技术有限公司 | 一种基于深度学习的肺部结节的检测系统及其使用方法 |
TWM568113U (zh) * | 2018-06-13 | 2018-10-11 | 凱勛國際股份有限公司 | 氣道模型生成系統及插管輔助系統 |
CN108734719A (zh) * | 2017-04-14 | 2018-11-02 | 浙江工商大学 | 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法 |
CN108765445A (zh) * | 2018-05-29 | 2018-11-06 | 上海联影医疗科技有限公司 | 一种肺气管分割方法及装置 |
CN109215032A (zh) * | 2017-06-30 | 2019-01-15 | 上海联影医疗科技有限公司 | 图像分割的方法及系统 |
CN109584252A (zh) * | 2017-11-03 | 2019-04-05 | 杭州依图医疗技术有限公司 | 基于深度学习的ct影像的肺叶段分割方法、装置 |
CN109685787A (zh) * | 2018-12-21 | 2019-04-26 | 杭州依图医疗技术有限公司 | Ct影像的肺叶段分割中的输出方法、装置 |
WO2019088121A1 (ja) * | 2017-10-30 | 2019-05-09 | 公益財団法人がん研究会 | 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム |
US20190180442A1 (en) * | 2017-11-20 | 2019-06-13 | University Of Iowa Research Foundation (Uirf) | Novel Systems and Methods for Airway Tree Segmentation |
CN110084252A (zh) * | 2019-04-29 | 2019-08-02 | 南京星程智能科技有限公司 | 基于深度学习的糖尿病视网膜病变图像标注方法 |
-
2019
- 2019-08-05 CN CN201910719059.9A patent/CN112330686A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110094957A (ko) * | 2010-02-18 | 2011-08-24 | 중앙대학교 산학협력단 | 레인지 영상으로부터의 객체 분할 장치 및 방법 |
CN104992445A (zh) * | 2015-07-20 | 2015-10-21 | 河北大学 | 一种ct图像肺实质的自动分割方法 |
CN108734719A (zh) * | 2017-04-14 | 2018-11-02 | 浙江工商大学 | 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法 |
CN109215032A (zh) * | 2017-06-30 | 2019-01-15 | 上海联影医疗科技有限公司 | 图像分割的方法及系统 |
CN107578402A (zh) * | 2017-08-04 | 2018-01-12 | 上海斐讯数据通信技术有限公司 | 一种基于深度学习的肺部结节的检测系统及其使用方法 |
CN107480677A (zh) * | 2017-08-07 | 2017-12-15 | 北京深睿博联科技有限责任公司 | 一种识别三维ct图像中感兴趣区域的方法及装置 |
CN107507171A (zh) * | 2017-08-08 | 2017-12-22 | 东北大学 | 一种肺部ct图像气道三维骨架树状结构提取及标记方法 |
WO2019088121A1 (ja) * | 2017-10-30 | 2019-05-09 | 公益財団法人がん研究会 | 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム |
CN109584252A (zh) * | 2017-11-03 | 2019-04-05 | 杭州依图医疗技术有限公司 | 基于深度学习的ct影像的肺叶段分割方法、装置 |
US20190180442A1 (en) * | 2017-11-20 | 2019-06-13 | University Of Iowa Research Foundation (Uirf) | Novel Systems and Methods for Airway Tree Segmentation |
CN108765445A (zh) * | 2018-05-29 | 2018-11-06 | 上海联影医疗科技有限公司 | 一种肺气管分割方法及装置 |
TWM568113U (zh) * | 2018-06-13 | 2018-10-11 | 凱勛國際股份有限公司 | 氣道模型生成系統及插管輔助系統 |
CN109685787A (zh) * | 2018-12-21 | 2019-04-26 | 杭州依图医疗技术有限公司 | Ct影像的肺叶段分割中的输出方法、装置 |
CN110084252A (zh) * | 2019-04-29 | 2019-08-02 | 南京星程智能科技有限公司 | 基于深度学习的糖尿病视网膜病变图像标注方法 |
Non-Patent Citations (3)
Title |
---|
王弘轩: "基于深度学习的肺部CT图像分析", 硕士论文, 1 April 2019 (2019-04-01) * |
管姝;张骞予;谢红薇;强彦;程臻;: "CT影像识别的卷积神经网络模型", 计算机辅助设计与图形学学报, no. 08, 15 August 2018 (2018-08-15) * |
黄江珊;王秀红;: "深度学习在医学图像分析中的应用研究综述", 图书情报研究, no. 02, 5 June 2019 (2019-06-05) * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112651969A (zh) * | 2021-02-08 | 2021-04-13 | 福州大学 | 结合多信息融合网络和区域增长的气管树分级提取方法 |
CN112651969B (zh) * | 2021-02-08 | 2023-04-07 | 福州大学 | 结合多信息融合网络和区域增长的气管树分级提取方法 |
CN113011510A (zh) * | 2021-03-25 | 2021-06-22 | 推想医疗科技股份有限公司 | 一种支气管分级及模型训练方法、装置及电子设备 |
CN113222007A (zh) * | 2021-05-08 | 2021-08-06 | 推想医疗科技股份有限公司 | 支气管分级方法、模型训练方法、装置、设备及存储介质 |
CN113222006A (zh) * | 2021-05-08 | 2021-08-06 | 推想医疗科技股份有限公司 | 一种亚段支气管分级的方法、装置、设备及存储介质 |
CN113222006B (zh) * | 2021-05-08 | 2021-10-08 | 推想医疗科技股份有限公司 | 一种亚段支气管分级的方法、装置、设备及存储介质 |
CN113222007B (zh) * | 2021-05-08 | 2022-02-22 | 推想医疗科技股份有限公司 | 支气管分级方法、模型训练方法、装置、设备及存储介质 |
CN113516669A (zh) * | 2021-06-23 | 2021-10-19 | 湖北英库科技有限公司 | 一种基于ct影像的气管提取方法、装置、设备及存储介质 |
CN113689355A (zh) * | 2021-09-10 | 2021-11-23 | 数坤(北京)网络科技股份有限公司 | 图像处理方法、装置、存储介质及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112330686A (zh) | 肺部支气管的分割及标定方法 | |
CN108805134B (zh) | 一种主动脉夹层分割模型的构建方法及应用 | |
CN107610087B (zh) | 一种基于深度学习的舌苔自动分割方法 | |
Badura et al. | Soft computing approach to 3D lung nodule segmentation in CT | |
CN106340016B (zh) | 一种基于细胞显微镜图像的dna定量分析方法 | |
Bibiloni et al. | A survey on curvilinear object segmentation in multiple applications | |
CN110110727B (zh) | 基于条件随机场和贝叶斯后处理的图像分割方法 | |
CN111242959B (zh) | 基于卷积神经网络的多模态医学图像的目标区域提取方法 | |
CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
CN106056596B (zh) | 基于局部先验信息和凸优化的全自动三维肝脏分割方法 | |
CN108765445B (zh) | 一种肺气管分割方法及装置 | |
CN109712695B (zh) | 血管图像的处理方法及交互显示方法、计算机装置 | |
CN112419344B (zh) | 一种基于Chan-Vese模型的无监督图像分割方法 | |
CN111080592B (zh) | 一种基于深度学习的肋骨提取方法及装置 | |
CN113077441B (zh) | 冠脉钙化斑块分割方法和计算冠脉钙化积分的方法 | |
CN114092450B (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
CN117373070B (zh) | 血管分段标注的方法及装置、电子设备和存储介质 | |
Khordehchi et al. | Automatic lung nodule detection based on statistical region merging and support vector machines | |
US11037299B2 (en) | Region merging image segmentation algorithm based on boundary extraction | |
Wang et al. | Segmenting retinal vessels with revised top-bottom-hat transformation and flattening of minimum circumscribed ellipse | |
CN113793357A (zh) | 一种基于深度学习的支气管肺段图像分割方法及系统 | |
CN115908371A (zh) | 基于优化分割的植物叶片病虫害程度检测方法 | |
CN111080556A (zh) | 一种强化ct图像气管壁增强方法、系统、设备及介质 | |
CN112712540B (zh) | 一种基于ct影像的肺部支气管提取方法 | |
CN117253071B (zh) | 基于多级伪标签增强的半监督目标检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |