CN113222007A - 支气管分级方法、模型训练方法、装置、设备及存储介质 - Google Patents
支气管分级方法、模型训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113222007A CN113222007A CN202110501080.9A CN202110501080A CN113222007A CN 113222007 A CN113222007 A CN 113222007A CN 202110501080 A CN202110501080 A CN 202110501080A CN 113222007 A CN113222007 A CN 113222007A
- Authority
- CN
- China
- Prior art keywords
- bronchus
- input data
- target
- branch
- bronchial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000621 bronchi Anatomy 0.000 title claims abstract description 498
- 238000012549 training Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 84
- 210000004072 lung Anatomy 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 77
- 238000012937 correction Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 21
- 230000003321 amplification Effects 0.000 claims description 16
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 9
- 238000013145 classification model Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 210000003437 trachea Anatomy 0.000 description 7
- 239000003086 colorant Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 210000000115 thoracic cavity Anatomy 0.000 description 3
- 210000003123 bronchiole Anatomy 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000003464 cuspid Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种支气管分级方法、模型训练方法、装置、设备及存储介质,该支气管分级方法包括:从获取的肺部三维图像中,分割提取目标支气管所在三维图像的最大外接立方体区域作为待分级的支气管数据;将所述支气管数据输入训练好的支气管分级模型中,以得到所述目标支气管的初始分级结果,其中,所述支气管分级模型是利用历史支气管所在三维图像作为训练样本训练得到的,所述历史支气管中的每一支气管分支携带有所属类别标签;利用所述目标支气管所在三维图像,对所述初始分级结果进行修正,得到所述目标支气管的最终分级结果。通过上述方法,可以对目标支气管进行分级,确定目标支气管中各支气管分支的所属类别,提高支气管分级结果的准确度。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种支气管分级方法、模型训练方法、装置、设备及存储介质。
背景技术
气管是呼吸系统的重要组成部分,气管的上部与喉头相接,下部分左右两支与肺部相通。气管在进入胸腔后,分成左、右主支气管,其中,左主支气管分为上叶和下叶支气管,左上叶支气管分出舌段支气管分支;右主支气管分为上叶支气管和中间段支气管,中间断支气管再分为中叶和下叶支气管;这些支气管还可以进一步细分成段、亚段支气管,终末细支气管,呼吸性细支气管,肺泡管,肺泡囊和肺泡。上述的气管细分成各种支气管的过程可以统称为支气管分级。
目前的支气管分级方法,一般是通过传统算法对肺叶肺段进行分割,然后,利用支气管在肺部的空间走向与肺段位置的关联关系,来得到支气管分级结果。由于肺段没有固定的边界,因此,分割肺叶肺段得到的分割结果具有较高的不确定性,进而,导致得到的支气管分级结果的准确度较低。
发明内容
有鉴于此,本发明的目的在于提供一种支气管分级方法、模型训练方法、装置、设备及存储介质,以提高支气管分级结果的准确度。
第一方面,本申请实施例提供了一种支气管分级方法,所述支气管分级方法包括:
从获取的肺部三维图像中,分割提取目标支气管所在三维图像的最大外接立方体区域作为待分级的支气管数据;
将所述支气管数据输入训练好的支气管分级模型中,以得到所述目标支气管的初始分级结果,其中,所述支气管分级模型是利用历史支气管所在三维图像作为训练样本训练得到的,所述历史支气管中的每一支气管分支携带有所属类别标签;
利用所述目标支气管所在三维图像,对所述初始分级结果进行修正,得到所述目标支气管的最终分级结果。
可选的,在获取所述肺部三维图像之前,所述支气管分级方法,还包括:
获取所述历史支气管所在三维图像的最大外接立方体区域作为第一输入数据;
对所述第一输入数据进行膨胀处理,以得到第二输入数据;
沿所述第二输入数据的空间横坐标方向,对所述第二输入数据中的所述历史支气管进行分割,将所述第二输入数据分割成两份第三输入数据;其中,所述第三输入数据是所述历史支气管的左半部或右半部所在的第二输入数据;
针对每一所述第三输入数据,对该第三输入数据进行数据扩增处理,得到该第三输入数据对应的第四输入数据;
将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,以得到训练好的支气管分级模型。
可选的,所述从获取的肺部三维图像中,分割提取目标支气管所在三维图像的最大外接立方体区域作为待分级的支气管数据,包括:
针对获取的所述肺部三维图像,利用该肺部三维图像属于所述目标支气管的像素点,对该肺部三维图像进行二值化处理,得到该肺部三维图像的二值化图像;
从所述二值化图像中,提取像素值为目标像素值的像素点,得到所述目标支气管所在三维图像,其中,所述目标像素值是属于所述目标支气管的像素点所标记的二值化值;
根据所述目标支气管所在三维图像的前景区域,截取该前景区域的最大外接立方体区域,以得到所述支气管数据。
可选的,所述将所述支气管数据输入训练好的支气管分级模型中,以得到所述目标支气管的初始分级结果,包括:
对所述支气管数据进行膨胀处理,以得到第一处理数据;
沿所述第一处理数据的空间横坐标方向,对所述第一处理数据中的所述目标支气管进行分割,将所述第一处理数据分割成两份第二处理数据;其中,所述第二处理数据是所述目标支气管的左半部或右半部所在的第一处理数据;
将每一所述第二处理数据分别输入训练好的支气管分级模型中,得到目标支气管左半部的分级结果和目标支气管右半部的分级结果;
对所述目标支气管左半部的分级结果和所述目标支气管右半部的分级结果进行拼接处理,得到所述初始分级结果。
可选的,所述利用所述目标支气管所在三维图像,对所述初始分级结果进行修正,包括:
将所述初始分级结果的图像尺寸修改为目标图像尺寸,得到第一分级修正结果,其中,所述目标图像尺寸是所述目标支气管所在三维图像的图像尺寸;
利用所述目标支气管所在三维图像,对所述第一分级修正结果进行映射,得到第二分级修正结果;
在所述第一分级修正结果中的目标生长区域内,针对所述目标支气管中的每一支气管分支,将所述目标生长区域作为区域生长的截止边界,对该支气管分支进行区域生长处理,得到所述目标支气管的最终分级结果,其中,所述目标生长区域是属于所述第二分级修正结果且不属于所述第一分级修正结果的区域。
可选的,所述支气管分级方法,还包括:
从所述最终分级结果中,确定所述目标支气管中每一支气管分支的所属类别;
针对所述目标支气管中的每一支气管分支,根据该支气管分支的所属类别,确定与该所属类别对应的颜色标记,其中,所属类别不同的支气管分支对应的颜色标记不同;
在所述最终分级结果中,按照确定出的所述颜色标记,标记该支气管分支对应的颜色。
可选的,在所述按照确定出的所述颜色标记,标记该支气管分支对应的颜色之后,所述支气管分级方法,还包括:
从所述最终分级结果中,提取所述目标支气管的支气管主干与每一支气管分支的最大连通域作为种子区域;
在其他区域与所述种子区域的交界处,针对所述目标支气管的每一支气管分支,按照该支气管分支对应的颜色进行区域生长,对该支气管分支位于所述其他区域中的分支部分重新进行颜色标记,其中,所述其他区域是与所述种子区域中除所述支气管主干之外的区域相连通的区域;
在对每一所述支气管分支重新进行颜色标记之后,从所述其他区域中,提取未被颜色标记的游离区域;
针对每一所述游离区域,根据该游离区域与其他游离区域的连通关系,对该游离区域进行划分,确定组成该游离区域的各个连通域;
针对每一所述连通域,根据各支气管分支在该连通域中颜色面积的所占比重,提取颜色面积的所占比重最大的支气管分支作为目标支气管分支;
按照所述目标支气管分支对应的颜色,对该连通域进行颜色标记。
第二方面,本申请实施例提供了一种模型训练方法,所述模型训练方法,包括:
获取历史支气管所在三维图像的最大外接立方体区域作为第一输入数据;
对所述第一输入数据进行膨胀处理,以得到第二输入数据;
沿所述第二输入数据的空间横坐标方向,对所述第二输入数据中的所述历史支气管进行分割,将所述第二输入数据分割成两份第三输入数据;其中,所述第三输入数据是所述历史支气管的左半部或右半部所在的第二输入数据;
针对每一所述第三输入数据,对该第三输入数据进行数据扩增处理,得到该第三输入数据对应的第四输入数据;
将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,以得到训练好的支气管分级模型。
可选的,所述将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,包括:
对所述第四输入数据中各支气管分支的所属类别进行预测,得到所述第四输入数据对应的支气管分级预测结果;
利用所述历史支气管中每一支气管分支携带的所属类别标签,确定所述第四输入数据中各支气管分支所属的类别标签,得到所述第四输入数据对应的支气管分级标记结果;
利用所述支气管分级预测结果与所述支气管分级标记结果,计算所述支气管分级模型的损失函数值;
根据计算的所述损失函数值,对所述支气管分级模型进行重复训练,直至所述支气管分级模型达到收敛。
第三方面,本申请实施例提供了一种支气管分级装置,所述支气管分级装置包括:
分割提取模块,用于从获取的肺部三维图像中,分割提取目标支气管所在三维图像的最大外接立方体区域作为待分级的支气管数据;
初始分级模块,用于将所述支气管数据输入训练好的支气管分级模型中,以得到所述目标支气管的初始分级结果,其中,所述支气管分级模型是利用历史支气管所在三维图像作为训练样本训练得到的,所述历史支气管中的每一支气管分支携带有所属类别标签;
结果修正模块,用于利用所述目标支气管所在三维图像,对所述初始分级结果进行修正,得到所述目标支气管的最终分级结果。
可选的,所述支气管分级装置还包括:
第一获取模块,用于获取所述历史支气管所在三维图像的最大外接立方体区域作为第一输入数据;
第一处理模块,用于对所述第一输入数据进行膨胀处理,以得到第二输入数据;
第一分割模块,用于沿所述第二输入数据的空间横坐标方向,对所述第二输入数据中的所述历史支气管进行分割,将所述第二输入数据分割成两份第三输入数据;其中,所述第三输入数据是所述历史支气管的左半部或右半部所在的第二输入数据;
第二处理模块,用于针对每一所述第三输入数据,对该第三输入数据进行数据扩增处理,得到该第三输入数据对应的第四输入数据;
第一训练模块,用于将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,以得到训练好的支气管分级模型。
可选的,所述分割提取模块,还用于:
针对获取的所述肺部三维图像,利用该肺部三维图像属于所述目标支气管的像素点,对该肺部三维图像进行二值化处理,得到该肺部三维图像的二值化图像;
从所述二值化图像中,提取像素值为目标像素值的像素点,得到所述目标支气管所在三维图像,其中,所述目标像素值是属于所述目标支气管的像素点所标记的二值化值;
根据所述目标支气管所在三维图像的前景区域,截取该前景区域的最大外接立方体区域,以得到所述支气管数据。
可选的,所述初始分级模块,还用于:
对所述支气管数据进行膨胀处理,以得到第一处理数据;
沿所述第一处理数据的空间横坐标方向,对所述第一处理数据中的所述目标支气管进行分割,将所述第一处理数据分割成两份第二处理数据;其中,所述第二处理数据是所述目标支气管的左半部或右半部所在的第一处理数据;
将每一所述第二处理数据分别输入训练好的支气管分级模型中,得到目标支气管左半部的分级结果和目标支气管右半部的分级结果;
对所述目标支气管左半部的分级结果和所述目标支气管右半部的分级结果进行拼接处理,得到所述初始分级结果。
可选的,所述结果修正模块,还用于:
将所述初始分级结果的图像尺寸修改为目标图像尺寸,得到第一分级修正结果,其中,所述目标图像尺寸是所述目标支气管所在三维图像的图像尺寸;
利用所述目标支气管所在三维图像,对所述第一分级修正结果进行映射,得到第二分级修正结果;
在所述第一分级修正结果中的目标生长区域内,针对所述目标支气管中的每一支气管分支,将所述目标生长区域作为区域生长的截止边界,对该支气管分支进行区域生长处理,得到所述目标支气管的最终分级结果,其中,所述目标生长区域是属于所述第二分级修正结果且不属于所述第一分级修正结果的区域。
可选的,所述支气管分级装置还包括:
分支确定模块,用于从所述最终分级结果中,确定所述目标支气管中每一支气管分支的所属类别;
颜色确定模块,用于针对所述目标支气管中的每一支气管分支,根据该支气管分支的所属类别,确定与该所属类别对应的颜色标记,其中,所属类别不同的支气管分支对应的颜色标记不同;
颜色标记模块,用于按照确定出的所述颜色标记,在所述最终分级结果中,标记该支气管分支对应的颜色。
可选的,所述颜色标记模块,还用于:
从所述最终分级结果中,提取所述目标支气管的支气管主干与每一支气管分支的最大连通域作为种子区域;
在其他区域与所述种子区域的交界处,针对所述目标支气管的每一支气管分支,按照该支气管分支对应的颜色进行区域生长,对该支气管分支位于所述其他区域中的分支部分重新进行颜色标记,其中,所述其他区域是与所述种子区域中除所述支气管主干之外的区域相连通的区域;
在对每一所述支气管分支重新进行颜色标记之后,从所述其他区域中,提取未被颜色标记的游离区域;
针对每一所述游离区域,根据该游离区域与其他游离区域的连通关系,对该游离区域进行划分,确定组成该游离区域的各个连通域;
针对每一所述连通域,根据各支气管分支在该连通域中颜色面积的所占比重,提取颜色面积的所占比重最大的支气管分支作为目标支气管分支;
按照所述目标支气管分支对应的颜色,对该连通域进行颜色标记。
第四方面,本申请实施例提供了一种模型训练装置,所述模型训练装置,包括:
数据获取模块,用于获取历史支气管所在三维图像的外接立方体区域作为第一输入数据;
膨胀处理模块,用于对所述第一输入数据进行膨胀处理,以得到第二输入数据;
数据分割模块,用于沿所述第二输入数据的空间横坐标方向,对所述第二输入数据中的所述历史支气管进行分割,将所述第二输入数据分割成两份第三输入数据;其中,所述第三输入数据是所述历史支气管的左半部或右半部所在的第二输入数据;
数据扩增模块,用于针对每一所述第三输入数据,对该第三输入数据进行数据扩增处理,得到该第三输入数据对应的第四输入数据;
模型训练模块,用于将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,以得到训练好的支气管分级模型。
可选的,所述模型训练模块,还用于:
对所述第四输入数据中各支气管分支的所属类别进行预测,得到所述第四输入数据对应的支气管分级预测结果;
利用所述历史支气管中每一支气管分支携带的所属类别标签,确定所述第四输入数据中各支气管分支所属的类别标签,得到所述第四输入数据对应的支气管分级标记结果;
利用所述支气管分级预测结果与所述支气管分级标记结果,计算所述支气管分级模型的损失函数值;
根据计算的所述损失函数值,对所述支气管分级模型进行重复训练,直至所述支气管分级模型达到收敛。
第五方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一所述的支气管分级方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述任一所述的支气管分级方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果:
本申请是先从肺部三维图像中,分割提取出目标支气管所在三维图像的最大外接立方体区域作为待分级的支气管数据;然后,将所述支气管数据输入训练好的支气管分级模型中,来对目标支气管进行分级,确定目标支气管中每一支气管分支的所属类别。这样,相较于现有技术,本申请先对肺部三维图像中目标支气管所在三维图像进行分割,以减少不属于目标支气管的背景区域图像对支气管分级造成的干扰;然后,在得到支气管分级模型输出的初始分级结果之后,本申请还利用目标支气管所在三维图像,对该初始分级结果进行修正,进一步的提高了支气管分级结果的准确度。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种支气管分级方法的流程示意图;
图2示出了本申请实施例所提供的一种支气管所在三维图像的最大外接立方体区域的示意图;
图3示出了本申请实施例中提供的一种空间中对所述第一处理数据中的所述目标支气管进行分割的示意图;
图4示出了本申请实施例所提供的一种支气管分级模型的训练方法流程示意图;
图5示出了本申请实施例所提供的一种对最终分级结果中末端串色部分进行修正的方法流程示意图;
图6示出了本申请实施例所提供的一种支气管分级装置的结构示意图;
图7示出了本申请实施例所提供的一种模型训练装置,所述模型训练装置;
图8为本申请实施例提供的一种计算机设备800的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例提供了一种支气管分级方法、模型训练方法、装置、设备及存储介质,下面通过实施例进行描述。
图1示出了本申请实施例所提供的一种支气管分级方法的流程示意图,其中,该方法包括步骤S101-S103;具体的:
S101,从获取的肺部三维图像中,分割提取目标支气管所在三维图像的最大外接立方体区域作为待分级的支气管数据。
需要提前说明的是,本申请实施例中提到的目标支气管以及历史支气管,都是指进入胸腔后的气管整体,本申请实施例中提到的支气管分级,都是指对进入胸腔后的气管整体,进行分级。
具体的,本申请实施例中,将肺部三维图像中不属于目标支气管的三维图像作为背景区域,从获取的肺部三维图像中,先对目标支气管所在三维图像进行分割,以减少所述背景区域对支气管分级造成的干扰,有利于提高目标支气管分级结果的准确度。
本申请实施例中,作为一可选实施例,所述从获取的肺部三维图像中,分割提取目标支气管所在三维图像的最大外接立方体区域作为待分级的支气管数据,包括:
针对获取的所述肺部三维图像,利用该肺部三维图像属于所述目标支气管的像素点,对该肺部三维图像进行二值化处理,得到该肺部三维图像的二值化图像;
从所述二值化图像中,提取像素值为目标像素值的像素点,得到所述目标支气管所在三维图像,其中,所述目标像素值是属于所述目标支气管的像素点所标记的二值化值;
根据所述目标支气管所在三维图像的前景区域,截取该前景区域的最大外接立方体区域,以得到所述支气管数据。
示例性的说明,在提取目标支气管所在三维图像的最大外接立方体区域之前,先对获取的肺部三维图像进行二值化处理,将属于目标支气管的像素点的像素值标记为1,将属于背景区域的像素点的像素值标记为0,以1作为目标像素值,从肺部三维图像中,分割出像素值为1的像素点所组成的三维图像区域,得到目标支气管所在三维图像,其中,图2示出了本申请实施例所提供的一种支气管所在三维图像的最大外接立方体区域的示意图,参照图2所示,根据分割出的目标支气管所在三维图像的前景区域,截取该前景区域的最大外接立方区域,作为用于对目标支气管进行分级的支气管数据。
需要说明的是,在对肺部三维图像中目标支气管所在三维图像进行分割时,除上述使用的二值化处理方法之外,也可以通过传统图像算法,如区域生长、Hessian矩阵(Hessian Matrix,黑塞矩阵)等,或者通过深度学习的方法,如基于3D的UNet图像分割等,对目标支气管所在三维图像进行多层级的分割,分割的层级越多,则越有利于提高后续步骤中对目标支气管进行分级的准确度。
S102,将所述支气管数据输入训练好的支气管分级模型中,以得到所述目标支气管的初始分级结果,其中,所述支气管分级模型是利用历史支气管所在三维图像作为训练样本训练得到的,所述历史支气管中的每一支气管分支携带有所属类别标签。
本申请实施例中,在训练所述支气管分级模型时,可以按照预先设置的支气管分级类别,对训练样本中历史支气管的每一支气管分支进行标记,来确定所述历史支气管中的每一支气管分支携带的所属类别标签,从而,使得训练好的支气管分级模型,可以识别出当前输入的支气管数据中,目标支气管每一分支的所属类别,得到目标支气管的初始分级结果。
其中,预先设置的支气管分级类别,具体如下:
位于右肺部的:右尖段支气管,右前段支气管,右后段支气管,右外侧段支气管,右内侧段支气管,右背段支气管,右内基底段支气管,右前基底段支气管,右外基底段支气管,右后基底段支气管;
位于左肺部的:左尖后段支气管,左前段支气管,左上舌段支气管,左下舌段支气管,左背段支气管,左内前基底段支气管,左外基底段支气管,左后基底段支气管;
以及位于目标支气管主干部分的:主支气管。
具体的,本申请实施例中,作为一可选实施例,所述将所述支气管数据输入训练好的支气管分级模型中,以得到所述目标支气管的初始分级结果,包括:
对所述支气管数据进行膨胀处理,以得到第一处理数据;
沿所述第一处理数据的空间横坐标方向,对所述第一处理数据中的所述目标支气管进行分割,将所述第一处理数据分割成两份第二处理数据;其中,所述第二处理数据是所述目标支气管的左半部或右半部所在的第一处理数据;
将每一所述第二处理数据分别输入训练好的支气管分级模型中,得到目标支气管左半部的分级结果和目标支气管右半部的分级结果;
对所述目标支气管左半部的分级结果和所述目标支气管右半部的分级结果进行拼接处理,得到所述初始分级结果。
示例性的说明,图3示出了本申请实施例中提供的一种空间中对所述第一处理数据中的所述目标支气管进行分割的示意图,参照图3所示,在经过膨胀处理,得到第一处理数据之后,由于第一处理数据也属于三维图像,因此,沿该三维图像的空间横坐标方向,可以对目标支气管进行分割,将目标支气管分为左右两半部分,即也将第一处理数据分成图3所示的两份第二处理数据;
其中,作为一可选方案,可以将所述第一处理数据的中心点作为初始切割点,当对第一处理数据分割,得到目标支气管的左半部对应的第二处理数据时,可以按照预设的偏差阈值,在初始切割点处,沿空间横坐标方向,向右偏移所述偏差阈值的位置,进行切割,以保证第二处理数据中目标支气管的左半部保留完整的支气管分支信息,有利于提高目标支气管分级结果的准确度;
同样的,当对第一处理数据分割,得到目标支气管的右半部对应的第二处理数据时,也可以按照预设的偏差阈值,在初始切割点处,沿空间横坐标方向,向左偏移所述偏差阈值的位置,进行切割,以保证第二处理数据中目标支气管的右半部保留完整的支气管分支信息。
需要说明的是,上述方法中,选取包含目标支气管一半信息的第二处理数据作为支气管分级模型的输入数据,分别得到目标支气管左半部的分级结果以及目标支气管右半部的分级结果,然后,对两个分级结果进行拼接,得到完整的目标支气管的分级结果。这样,由于支气管的左右两个半部基本呈对称状态,因此,对左、右半部分别进行支气管分级,可以尽可能的保留支气管图像的全局信息,并且,相较于对完整的支气管三维图像进行分级的方法,可以有效地减少支气管分级模型处理过程中占用的GPU显存,从而,可以在提高分级结果准确度的基础上,进一步提高支气管分级模型的数据处理效率。
S103,利用所述目标支气管所在三维图像,对所述初始分级结果进行修正,得到所述目标支气管的最终分级结果。
在本申请实施例中,考虑到所述支气管分级模型在实际训练过程中使用的训练样本的图像尺寸可能与当前输入的支气管数据对应的实际图像尺寸存在差异,此时,作为一可选实施例,可以将支气管数据对应的图像尺寸修改为预设的图像尺寸,重新输入训练好的支气管分级模型中,以重新得到所述目标支气管的初始分级结果,然后,将得到的分级结果恢复成修改前支气管数据对应的实际图像尺寸;其中,预设的图像尺寸可以与所述训练样本的尺寸相同。
作为一可选实施例,所述利用所述目标支气管所在三维图像,对所述初始分级结果进行修正,包括:
将所述初始分级结果的图像尺寸修改为目标图像尺寸,得到第一分级修正结果,其中,所述目标图像尺寸是所述目标支气管所在三维图像的图像尺寸;
利用所述目标支气管所在三维图像,对所述第一分级修正结果进行映射,得到第二分级修正结果;
在所述第一分级修正结果中的目标生长区域内,针对所述目标支气管中的每一支气管分支,将所述目标生长区域作为区域生长的截止边界,对该支气管分支进行区域生长处理,得到所述目标支气管的最终分级结果,其中,所述目标生长区域是属于所述第二分级修正结果且不属于所述第一分级修正结果的区域。
具体的,在上述的场景下,由于经过图像尺寸的修改之后,在恢复所述实际图像尺寸的过程中,可能会出现部分末端图像缺失的现象,因此,还需要先将初始分级结果的图像尺寸调整到与目标支气管所在三维图像的图像尺寸相同,然后将所述目标支气管所在三维图像,与调整图像尺寸之后的初始分级结果进行双重映射,以便根据区域生长规则,将初始分级结果中出现缺失的末端图像补充完整,得到目标支气管的最终分级结果,以提高对目标支气管分级的准确度。
在一个可行的实施方案中,图4示出了本申请实施例所提供的一种支气管分级模型的训练方法流程示意图,如图4所示,在执行步骤S101之前,在训练所述支气管分级模型时,该方法还包括S401-S405;具体的:
S401,获取所述历史支气管所在三维图像的最大外接立方体区域作为第一输入数据。
具体的,获取第一输入数据的方法与步骤S101中获取所述支气管数据的方法相似,在此不再赘述。
S402,对所述第一输入数据进行膨胀处理,以得到第二输入数据。
具体的,本申请实施例中,作为一可选实施例,还可以在膨胀处理之后,将历史支气管所在三维图像的最大外接立方体区域的尺寸调小到第一尺寸阈值,以便节约支气管分级模型处理过程中占用的GPU(Graphics Processing Unit,图形处理器)显存。
S403,沿所述第二输入数据的空间横坐标方向,对所述第二输入数据中的所述历史支气管进行分割,将所述第二输入数据分割成两份第三输入数据;其中,所述第三输入数据是所述历史支气管的左半部或右半部所在的第二输入数据。
具体的,其中,作为一可选方案,可以将所述第二输入数据的中心点作为初始切割点,当对第二输入数据分割,得到历史支气管的左半部对应的第三输入数据时,可以按照预设的偏差阈值,在初始切割点处,沿空间横坐标方向,向右偏移所述偏差阈值的位置,进行切割,以保证第三输入数据中历史支气管的左半部保留完整的支气管分支信息,有利于提高历史支气管分级结果的准确度;
同样的,当对第二输入数据分割,得到历史支气管的右半部对应的第三输入数据时,也可以按照预设的偏差阈值,在初始切割点处,沿空间横坐标方向,向左偏移所述偏差阈值的位置,进行切割,以保证第三输入数据中历史支气管的右半部保留完整的支气管分支信息。S404,针对每一所述第三输入数据,对该第三输入数据进行数据扩增处理,得到该第三输入数据对应的第四输入数据。
本申请实施例中,考虑到训练样本的类型以及数量越充足,越有利于提高模型训练的准确度。因此,作为一可选方案,可以针对每一个第三输入数据,对该第三输入数据进行数据扩增处理,例如,对第三输入数据进行随机旋转,或者随机消除第三输入数据中某一支气管分支携带的所属类别标签,从而,通过数据扩增处理的方式,来模拟第三输入数据中支气管分支携带的所属类别标签不准确的情况,以丰富训练样本的类型和数量,提高模型训练结果的准确度。
S405,将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,以得到训练好的支气管分级模型。
具体的,本申请实施例中,作为一可选实施例,所述将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,包括:
对所述第四输入数据中各支气管分支的所属类别进行预测,得到所述第四输入数据对应的支气管分级预测结果;
利用所述历史支气管中每一支气管分支携带的所属类别标签,确定所述第四输入数据中各支气管分支所属的类别标签,得到所述第四输入数据对应的支气管分级标记结果;
利用所述支气管分级预测结果与所述支气管分级标记结果,计算所述支气管分级模型的损失函数值;
根据计算的所述损失函数值,对所述支气管分级模型进行重复训练,直至所述支气管分级模型达到收敛。
示例性的说明,可以采用语义分割网络作为支气管分级模型的原始模型,采用交叉熵损失函数或者常用的语义分割损失函数,如:focalloss(灶性损失)损失函数等作为支气管分级模型的损失函数,来计算每次支气管分级预测结果与标准的支气管分级标记结果的损失函数值,利用反向传播算法,对支气管分级模型进行重复训练,直至计算出的损失函数值达到最小,此时,可以确定支气管分级模型达到收敛,结束模型的训练过程。
进一步的,在步骤S103中对初始分级结果进行修正的基础上,为更加直观的向用户展示目标支气管的各个支气管分支,优选的,还可以在修正后的最终分级结果中,利用不同颜色对所属类别不同的支气管分支进行颜色标记。
本申请实施例中,作为一可选实施例,所述支气管分级方法,还包括:
从所述最终分级结果中,确定所述目标支气管中每一支气管分支的所属类别;
针对所述目标支气管中的每一支气管分支,根据该支气管分支的所属类别,确定与该所属类别对应的颜色标记,其中,所属类别不同的支气管分支对应的颜色标记不同;
在所述最终分级结果中,按照确定出的所述颜色标记,标记该支气管分支对应的颜色。
示例性的说明,以上述步骤S102中所述预先设置的支气管分级类别为例,若预先设置:右尖段支气管对应的颜色标记为绿色,右前段支气管对应的颜色标记为蓝色;则可以在最终分级结果中,将目标支气管的右尖段支气管标记为绿色,将目标支气管的右前段支气管对应的颜色标记为蓝色。
这里,考虑到实际支气管分级过程中,支气管分支模型输出的初始分级结果可能会出现部分支气管分支末端识别错误的情形,此时,在对最终分级结果进行颜色标记时,会出现支气管分支末端串色的现象,因此,当出现支气管分支末端串色的现象时,还需要对最终分级结果中各支气管分支的颜色进行修正,以提高最终输出的目标支气管分级结果的准确度。
在一个可行的实施方案中,结合上述场景,当利用不同颜色对最终分级结果中的所属类别不同的支气管分支进行颜色标记时,图5示出了本申请实施例所提供的一种对最终分级结果中末端串色部分进行修正的方法流程示意图,如图5所示,在所述按照确定出的所述颜色标记,标记该支气管分支对应的颜色之后,所述支气管分级方法还包括S501-S506;具体的:
S501,从所述最终分级结果中,提取所述目标支气管的支气管主干与每一支气管分支的最大连通域作为种子区域。
S502,在其他区域与所述种子区域的交界处,针对所述目标支气管的每一支气管分支,按照该支气管分支对应的颜色进行区域生长,对该支气管分支位于所述其他区域中的分支部分重新进行颜色标记,其中,所述其他区域是与所述种子区域中除所述支气管主干之外的区域相连通的区域。
示例性的说明,以其他区域x为例,其他区域x与支气管主干不连通,其他区域x与种子区域中属于支气管分支a的区域a1相连通;在其他区域x与区域a1的交界处,按照支气管分支a对应的颜色,对支气管分支a进行区域生长,直至达到其他区域x的边界,从而,确定出其他区域x中属于支气管分支a的分支部分a2。
S503,在对每一所述支气管分支重新进行颜色标记之后,从所述其他区域中,提取未被颜色标记的游离区域。
示例性的说明,仍以上述示例为例,若其他区域x还与种子区域中属于支气管分支b的区域b1相连通,则在其他区域x与区域b1的交界处,按照支气管分支b对应的颜色,对支气管分支b进行区域生长,直至达到其他区域x的边界,从而,确定出其他区域x中属于支气管分支b的分支部分b2;此时,在其他区域x中,分支部分a2所在区域和分支部分b2所在区域都已经重新进行了颜色标记,提取其他区域x中除分支部分a2和分支部分b2之外的剩余区域作为所述游离区域。
S504,针对每一所述游离区域,根据该游离区域与其他游离区域的连通关系,对该游离区域进行划分,确定组成该游离区域的各个连通域。
示例性的说明,若从其他区域x中,提取出未被颜色标记的游离区域为:游离区域1、游离区域2和游离区域3;则以游离区域1为例,计算游离区域与其余所有游离区域的连通关系,将游离区域1划分为若干个独立的连通域,其中,这里的其余所有游离区域不仅包括游离区域2和游离区域3,还包括从除其他区域x之外的其他区域中提取出的游离区域。
S505,针对每一所述连通域,根据各支气管分支在该连通域中颜色面积的所占比重,提取颜色面积的所占比重最大的支气管分支作为目标支气管分支。
S506,按照所述目标支气管分支对应的颜色,对该连通域进行颜色标记。
示例性的说明,由于在步骤S501之前,本申请实施例已经在所述最终分级结果中,对每一个支气管分支进行了颜色标记,因此,在每一个连通域中,会出现多种颜色并存的现象,即末端串色现象,此时,针对每一个连通域,按照该连通域中颜色面积所占比重最大的颜色,对该连通域重新进行颜色标记,从而,确定出每一个连通域所属的支气管分支。这样,当利用不同颜色对最终分级结果中的所属类别不同的支气管分支进行颜色标记时,可以按照上述步骤,对颜色标记后的最终分级结果进行修正,提高最终分级结果的准确度。
进一步的,本申请实施例还提供了一种模型训练方法,所述模型训练方法,包括:
获取历史支气管所在三维图像的最大外接立方体区域作为第一输入数据;
对所述第一输入数据进行膨胀处理,以得到第二输入数据;
沿所述第二输入数据的空间横坐标方向,对所述第二输入数据中的所述历史支气管进行分割,将所述第二输入数据分割成两份第三输入数据;其中,所述第三输入数据是所述历史支气管的左半部或右半部所在的第二输入数据;
针对每一所述第三输入数据,对该第三输入数据进行数据扩增处理,得到该第三输入数据对应的第四输入数据;
将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,以得到训练好的支气管分级模型。
需要说明的是,关于上述实现方式的详细说明可以参考实施例一中的相关解释,在此不再赘述。
在一个可行的实施方案中,所述将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,包括:
对所述第四输入数据中各支气管分支的所属类别进行预测,得到所述第四输入数据对应的支气管分级预测结果;
利用所述历史支气管中每一支气管分支携带的所属类别标签,确定所述第四输入数据中各支气管分支所属的类别标签,得到所述第四输入数据对应的支气管分级标记结果;
利用所述支气管分级预测结果与所述支气管分级标记结果,计算所述支气管分级模型的损失函数值;
根据计算的所述损失函数值,对所述支气管分级模型进行重复训练,直至所述支气管分级模型达到收敛。
具体的,关于上述实现方式的详细说明可以参考实施例一中的相关解释,在此不再详细说明。
如图6所示,图6示出了本申请实施例所提供的一种支气管分级装置的结构示意图,所述支气管分级装置包括:
分割提取模块601,用于从获取的肺部三维图像中,分割提取目标支气管所在三维图像的最大外接立方体区域作为待分级的支气管数据;
初始分级模块602,用于将所述支气管数据输入训练好的支气管分级模型中,以得到所述目标支气管的初始分级结果,其中,所述支气管分级模型是利用历史支气管所在三维图像作为训练样本训练得到的,所述历史支气管中的每一支气管分支携带有所属类别标签;
结果修正模块603,用于利用所述目标支气管所在三维图像,对所述初始分级结果进行修正,得到所述目标支气管的最终分级结果。
可选的,所述支气管分级装置还包括:
第一获取模块(图中未示出),用于获取所述历史支气管所在三维图像的最大外接立方体区域作为第一输入数据;
第一处理模块(图中未示出),用于对所述第一输入数据进行膨胀处理,以得到第二输入数据;
第一分割模块(图中未示出),用于沿所述第二输入数据的空间横坐标方向,对所述第二输入数据中的所述历史支气管进行分割,将所述第二输入数据分割成两份第三输入数据;其中,所述第三输入数据是所述历史支气管的左半部或右半部所在的第二输入数据;
第二处理模块(图中未示出),用于针对每一所述第三输入数据,对该第三输入数据进行数据扩增处理,得到该第三输入数据对应的第四输入数据;
第一训练模块(图中未示出),用于将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,以得到训练好的支气管分级模型。
可选的,所述第一训练模块,还用于:
对所述第四输入数据中各支气管分支的所属类别进行预测,得到所述第四输入数据对应的支气管分级预测结果;
利用所述历史支气管中每一支气管分支携带的所属类别标签,确定所述第四输入数据中各支气管分支所属的类别标签,得到所述第四输入数据对应的支气管分级标记结果;
利用所述支气管分级预测结果与所述支气管分级标记结果,计算所述支气管分级模型的损失函数值;
根据计算的所述损失函数值,对所述支气管分级模型进行重复训练,直至所述支气管分级模型达到收敛。
可选的,分割提取模块601,还用于:
针对获取的所述肺部三维图像,利用该肺部三维图像属于所述目标支气管的像素点,对该肺部三维图像进行二值化处理,得到该肺部三维图像的二值化图像;
从所述二值化图像中,提取像素值为目标像素值的像素点,得到所述目标支气管所在三维图像,其中,所述目标像素值是属于所述目标支气管的像素点所标记的二值化值;
根据所述目标支气管所在三维图像的前景区域,截取该前景区域的最大外接立方体区域,以得到所述支气管数据。
可选的,初始分级模块602,还用于:
对所述支气管数据进行膨胀处理,以得到第一处理数据;
沿所述第一处理数据的空间横坐标方向,对所述第一处理数据中的所述目标支气管进行分割,将所述第一处理数据分割成两份第二处理数据;其中,所述第二处理数据是所述目标支气管的左半部或右半部所在的第一处理数据;
将每一所述第二处理数据分别输入训练好的支气管分级模型中,得到目标支气管左半部的分级结果和目标支气管右半部的分级结果;
对所述目标支气管左半部的分级结果和所述目标支气管右半部的分级结果进行拼接处理,得到所述初始分级结果。
可选的,结果修正模块603,还用于:
将所述初始分级结果的图像尺寸修改为目标图像尺寸,得到第一分级修正结果,其中,所述目标图像尺寸是所述目标支气管所在三维图像的图像尺寸;
利用所述目标支气管所在三维图像,对所述第一分级修正结果进行映射,得到第二分级修正结果;
在所述第一分级修正结果中的目标生长区域内,针对所述目标支气管中的每一支气管分支,将所述目标生长区域作为区域生长的截止边界,对该支气管分支进行区域生长处理,得到所述目标支气管的最终分级结果,其中,所述目标生长区域是属于所述第二分级修正结果且不属于所述第一分级修正结果的区域。
可选的,所述支气管分级装置还包括:
分支确定模块(图中未示出),用于从所述最终分级结果中,确定所述目标支气管中每一支气管分支的所属类别;
颜色确定模块(图中未示出),用于针对所述目标支气管中的每一支气管分支,根据该支气管分支的所属类别,确定与该所属类别对应的颜色标记,其中,所属类别不同的支气管分支对应的颜色标记不同;
颜色标记模块(图中未示出),用于按照确定出的所述颜色标记,在所述最终分级结果中,标记该支气管分支对应的颜色。
可选的,所述颜色标记模块,还用于:
从所述最终分级结果中,提取所述目标支气管的支气管主干与每一支气管分支的最大连通域作为种子区域;
在其他区域与所述种子区域的交界处,针对所述目标支气管的每一支气管分支,按照该支气管分支对应的颜色进行区域生长,对该支气管分支位于所述其他区域中的分支部分重新进行颜色标记,其中,所述其他区域是与所述种子区域中除所述支气管主干之外的区域相连通的区域;
在对每一所述支气管分支重新进行颜色标记之后,从所述其他区域中,提取未被颜色标记的游离区域;
针对每一所述游离区域,根据该游离区域与其他游离区域的连通关系,对该游离区域进行划分,确定组成该游离区域的各个连通域;
针对每一所述连通域,根据各支气管分支在该连通域中颜色面积的所占比重,提取颜色面积的所占比重最大的支气管分支作为目标支气管分支;
按照所述目标支气管分支对应的颜色,对该连通域进行颜色标记。
如图7所示,图7示出了本申请实施例所提供的一种模型训练装置,所述模型训练装置,包括:
数据获取模块701,用于获取历史支气管所在三维图像的外接立方体区域作为第一输入数据;
膨胀处理模块702,用于对所述第一输入数据进行膨胀处理,以得到第二输入数据;
数据分割模块703,用于沿所述第二输入数据的空间横坐标方向,对所述第二输入数据中的所述历史支气管进行分割,将所述第二输入数据分割成两份第三输入数据;其中,所述第三输入数据是所述历史支气管的左半部或右半部所在的第二输入数据;
数据扩增模块704,用于针对每一所述第三输入数据,对该第三输入数据进行数据扩增处理,得到该第三输入数据对应的第四输入数据;
模型训练模块705,用于将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,以得到训练好的支气管分级模型。
可选的,模型训练模块705,还用于:
对所述第四输入数据中各支气管分支的所属类别进行预测,得到所述第四输入数据对应的支气管分级预测结果;
利用所述历史支气管中每一支气管分支携带的所属类别标签,确定所述第四输入数据中各支气管分支所属的类别标签,得到所述第四输入数据对应的支气管分级标记结果;
利用所述支气管分级预测结果与所述支气管分级标记结果,计算所述支气管分级模型的损失函数值;
根据计算的所述损失函数值,对所述支气管分级模型进行重复训练,直至所述支气管分级模型达到收敛。
如图8所示,如图8所示,本申请实施例提供了一种计算机设备800,用于执行本申请中任一所述的支气管分级方法的步骤,或者执行本申请中任一所述的模型训练方法的步骤,该设备包括存储器801、处理器802及存储在该存储器801上并可在该处理器802上运行的计算机程序,其中,上述处理器802执行上述计算机程序时实现上述任一所述的支气管分级方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
具体地,上述存储器801和处理器802可以为通用的存储器和处理器,这里不做具体限定,当处理器802运行存储器801存储的计算机程序时,能够执行上述任一所述的支气管分级方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
对应于本申请中的支气管分级方法和模型训练方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述任一所述的支气管分级方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述任一所述的支气管分级方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
在本申请所提供的实施例中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种支气管分级方法,其特征在于,所述支气管分级方法包括:
从获取的肺部三维图像中,分割提取目标支气管所在三维图像的最大外接立方体区域作为待分级的支气管数据;
将所述支气管数据输入训练好的支气管分级模型中,以得到所述目标支气管的初始分级结果,其中,所述支气管分级模型是利用历史支气管所在三维图像作为训练样本训练得到的,所述历史支气管中的每一支气管分支携带有所属类别标签;
利用所述目标支气管所在三维图像,对所述初始分级结果进行修正,得到所述目标支气管的最终分级结果。
2.根据权利要求1所述的支气管分级方法,其特征在于,在获取所述肺部三维图像之前,所述支气管分级方法,还包括:
获取所述历史支气管所在三维图像的最大外接立方体区域作为第一输入数据;
对所述第一输入数据进行膨胀处理,以得到第二输入数据;
沿所述第二输入数据的空间横坐标方向,对所述第二输入数据中的所述历史支气管进行分割,将所述第二输入数据分割成两份第三输入数据;其中,所述第三输入数据是所述历史支气管的左半部或右半部所在的第二输入数据;
针对每一所述第三输入数据,对该第三输入数据进行数据扩增处理,得到该第三输入数据对应的第四输入数据;
将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,以得到训练好的支气管分级模型。
3.根据权利要求1所述的支气管分级方法,其特征在于,所述从获取的肺部三维图像中,分割提取目标支气管所在三维图像的最大外接立方体区域作为待分级的支气管数据,包括:
针对获取的所述肺部三维图像,利用该肺部三维图像属于所述目标支气管的像素点,对该肺部三维图像进行二值化处理,得到该肺部三维图像的二值化图像;
从所述二值化图像中,提取像素值为目标像素值的像素点,得到所述目标支气管所在三维图像,其中,所述目标像素值是属于所述目标支气管的像素点所标记的二值化值;
根据所述目标支气管所在三维图像的前景区域,截取该前景区域的最大外接立方体区域,以得到所述支气管数据。
4.根据权利要求1所述的支气管分级方法,其特征在于,所述将所述支气管数据输入训练好的支气管分级模型中,以得到所述目标支气管的初始分级结果,包括:
对所述支气管数据进行膨胀处理,以得到第一处理数据;
沿所述第一处理数据的空间横坐标方向,对所述第一处理数据中的所述目标支气管进行分割,将所述第一处理数据分割成两份第二处理数据;其中,所述第二处理数据是所述目标支气管的左半部或右半部所在的第一处理数据;
将每一所述第二处理数据分别输入训练好的支气管分级模型中,得到目标支气管左半部的分级结果和目标支气管右半部的分级结果;
对所述目标支气管左半部的分级结果和所述目标支气管右半部的分级结果进行拼接处理,得到所述初始分级结果。
5.根据权利要求1所述的支气管分级方法,其特征在于,所述利用所述目标支气管所在三维图像,对所述初始分级结果进行修正,包括:
将所述初始分级结果的图像尺寸修改为目标图像尺寸,得到第一分级修正结果,其中,所述目标图像尺寸是所述目标支气管所在三维图像的图像尺寸;
利用所述目标支气管所在三维图像,对所述第一分级修正结果进行映射,得到第二分级修正结果;
在所述第一分级修正结果中的目标生长区域内,针对所述目标支气管中的每一支气管分支,将所述目标生长区域作为区域生长的截止边界,对该支气管分支进行区域生长处理,得到所述目标支气管的最终分级结果,其中,所述目标生长区域是属于所述第二分级修正结果且不属于所述第一分级修正结果的区域。
6.根据权利要求1所述的支气管分级方法,其特征在于,所述支气管分级方法,还包括:
从所述最终分级结果中,确定所述目标支气管中每一支气管分支的所属类别;
针对所述目标支气管中的每一支气管分支,根据该支气管分支的所属类别,确定与该所属类别对应的颜色标记,其中,所属类别不同的支气管分支对应的颜色标记不同;
在所述最终分级结果中,按照确定出的所述颜色标记,标记该支气管分支对应的颜色。
7.根据权利要求6所述的支气管分级方法,其特征在于,在所述按照确定出的所述颜色标记,标记该支气管分支对应的颜色之后,所述支气管分级方法,还包括:
从所述最终分级结果中,提取所述目标支气管的支气管主干与每一支气管分支的最大连通域作为种子区域;
在其他区域与所述种子区域的交界处,针对所述目标支气管的每一支气管分支,按照该支气管分支对应的颜色进行区域生长,对该支气管分支位于所述其他区域中的分支部分重新进行颜色标记,其中,所述其他区域是与所述种子区域中除所述支气管主干之外的区域相连通的区域;
在对每一所述支气管分支重新进行颜色标记之后,从所述其他区域中,提取未被颜色标记的游离区域;
针对每一所述游离区域,根据该游离区域与其他游离区域的连通关系,对该游离区域进行划分,确定组成该游离区域的各个连通域;
针对每一所述连通域,根据各支气管分支在该连通域中颜色面积的所占比重,提取颜色面积的所占比重最大的支气管分支作为目标支气管分支;
按照所述目标支气管分支对应的颜色,对该连通域进行颜色标记。
8.一种模型训练方法,其特征在于,所述模型训练方法,包括:
获取历史支气管所在三维图像的最大外接立方体区域作为第一输入数据;
对所述第一输入数据进行膨胀处理,以得到第二输入数据;
沿所述第二输入数据的空间横坐标方向,对所述第二输入数据中的所述历史支气管进行分割,将所述第二输入数据分割成两份第三输入数据;其中,所述第三输入数据是所述历史支气管的左半部或右半部所在的第二输入数据;
针对每一所述第三输入数据,对该第三输入数据进行数据扩增处理,得到该第三输入数据对应的第四输入数据;
将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,以得到训练好的支气管分级模型。
9.根据权利要求8所述的模型训练方法,其特征在于,所述将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,包括:
对所述第四输入数据中各支气管分支的所属类别进行预测,得到所述第四输入数据对应的支气管分级预测结果;
利用所述历史支气管中每一支气管分支携带的所属类别标签,确定所述第四输入数据中各支气管分支所属的类别标签,得到所述第四输入数据对应的支气管分级标记结果;
利用所述支气管分级预测结果与所述支气管分级标记结果,计算所述支气管分级模型的损失函数值;
根据计算的所述损失函数值,对所述支气管分级模型进行重复训练,直至所述支气管分级模型达到收敛。
10.一种支气管分级装置,其特征在于,所述支气管分级装置,包括:
分割提取模块,用于从获取的肺部三维图像中,分割提取目标支气管所在三维图像的最大外接立方体区域作为待分级的支气管数据;
初始分级模块,用于将所述支气管数据输入训练好的支气管分级模型中,以得到所述目标支气管的初始分级结果,其中,所述支气管分级模型是利用历史支气管所在三维图像作为训练样本训练得到的,所述历史支气管中的每一支气管分支携带有所属类别标签;
结果修正模块,用于利用所述目标支气管所在三维图像,对所述初始分级结果进行修正,得到所述目标支气管的最终分级结果。
11.一种模型训练装置,其特征在于,所述模型训练装置,包括:
数据获取模块,用于获取历史支气管所在三维图像的外接立方体区域作为第一输入数据;
膨胀处理模块,用于对所述第一输入数据进行膨胀处理,以得到第二输入数据;
数据分割模块,用于沿所述第二输入数据的空间横坐标方向,对所述第二输入数据中的所述历史支气管进行分割,将所述第二输入数据分割成两份第三输入数据;其中,所述第三输入数据是所述历史支气管的左半部或右半部所在的第二输入数据;
数据扩增模块,用于针对每一所述第三输入数据,对该第三输入数据进行数据扩增处理,得到该第三输入数据对应的第四输入数据;
模型训练模块,用于将所述第四输入数据以及所述历史支气管中每一支气管分支携带的所属类别标签作为训练样本,对支气管分级模型进行训练,以得到训练好的支气管分级模型。
12.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的支气管分级方法的步骤,或者执行如权利要求8至9任一所述的模型训练方法的步骤。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的支气管分级方法的步骤,或者执行如权利要求8至9任一所述的模型训练方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110501080.9A CN113222007B (zh) | 2021-05-08 | 2021-05-08 | 支气管分级方法、模型训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110501080.9A CN113222007B (zh) | 2021-05-08 | 2021-05-08 | 支气管分级方法、模型训练方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113222007A true CN113222007A (zh) | 2021-08-06 |
CN113222007B CN113222007B (zh) | 2022-02-22 |
Family
ID=77094058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110501080.9A Active CN113222007B (zh) | 2021-05-08 | 2021-05-08 | 支气管分级方法、模型训练方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113222007B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180108139A1 (en) * | 2016-10-19 | 2018-04-19 | U.S. Department Of Veterans Affairs | System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks |
CN108171703A (zh) * | 2018-01-18 | 2018-06-15 | 东北大学 | 一种从胸部ct图像中自动提取气管树的方法 |
CN111080556A (zh) * | 2019-12-23 | 2020-04-28 | 山东师范大学 | 一种强化ct图像气管壁增强方法、系统、设备及介质 |
CN112330686A (zh) * | 2019-08-05 | 2021-02-05 | 罗雄彪 | 肺部支气管的分割及标定方法 |
WO2021037892A1 (en) * | 2019-08-26 | 2021-03-04 | Koninklijke Philips N.V. | Segmenting a tubular feature |
CN112651969A (zh) * | 2021-02-08 | 2021-04-13 | 福州大学 | 结合多信息融合网络和区域增长的气管树分级提取方法 |
-
2021
- 2021-05-08 CN CN202110501080.9A patent/CN113222007B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180108139A1 (en) * | 2016-10-19 | 2018-04-19 | U.S. Department Of Veterans Affairs | System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks |
CN108171703A (zh) * | 2018-01-18 | 2018-06-15 | 东北大学 | 一种从胸部ct图像中自动提取气管树的方法 |
CN112330686A (zh) * | 2019-08-05 | 2021-02-05 | 罗雄彪 | 肺部支气管的分割及标定方法 |
WO2021037892A1 (en) * | 2019-08-26 | 2021-03-04 | Koninklijke Philips N.V. | Segmenting a tubular feature |
CN111080556A (zh) * | 2019-12-23 | 2020-04-28 | 山东师范大学 | 一种强化ct图像气管壁增强方法、系统、设备及介质 |
CN112651969A (zh) * | 2021-02-08 | 2021-04-13 | 福州大学 | 结合多信息融合网络和区域增长的气管树分级提取方法 |
Non-Patent Citations (3)
Title |
---|
GUOHUA CHENG ET.AL: "Segmentation of the Airway Tree From Chest CT Using Tiny Atrous Convolutional Network", 《IEEE ACCESS》 * |
TIANYI ZHAO ET.AL: "Bronchus Segmentation and Classification by Neural Networks and Linear Programming", 《MICCAI 2019》 * |
蒋博 等: "基于"区域生长"的后处理技术在支气管动脉CT成像中的价值", 《中国医疗设备》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113222007B (zh) | 2022-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112884826B (zh) | 血管中心线的提取方法及装置 | |
CN112528813B (zh) | 表格识别方法、装置以及计算机可读存储介质 | |
CN113223013A (zh) | 一种肺血管分段定位的方法、装置、设备及存储介质 | |
CN104272350A (zh) | 图像处理装置、图像处理方法、以及计算机可读记录介质 | |
CN111242691A (zh) | 广告海报的生成方法、装置、存储介质及终端设备 | |
KR101956158B1 (ko) | 식물 잎 식별 시스템 및 방법 | |
CN113989167B (zh) | 基于种子点自生长的轮廓提取方法、装置、设备及介质 | |
CN114332013A (zh) | 基于肺动脉树分级的ct图像靶肺段识别方法 | |
CN117373070B (zh) | 血管分段标注的方法及装置、电子设备和存储介质 | |
CN111861988A (zh) | 基于支气管的自动及半自动肺分叶分段的方法及其系统 | |
CN113222007B (zh) | 支气管分级方法、模型训练方法、装置、设备及存储介质 | |
CN114155193A (zh) | 一种基于特征强化的血管分割方法及装置 | |
CN113222006B (zh) | 一种亚段支气管分级的方法、装置、设备及存储介质 | |
CN111210452B (zh) | 一种基于图割和均值偏移的证件照人像分割方法 | |
CN113222051A (zh) | 基于小肠病灶特征的图像标注方法 | |
CN113011510B (zh) | 一种支气管分级及模型训练方法、装置及电子设备 | |
CN111611935A (zh) | 一种cad图纸中相似矢量图的自动识别方法 | |
CN115719355A (zh) | 一种可扩展的农田边界规整简化方法、系统、设备及终端 | |
CN115147359B (zh) | 肺叶分割网络模型训练方法、装置、电子设备及存储介质 | |
CN107609592B (zh) | 一种面向字母识别的图编辑距离方法 | |
CN115546149A (zh) | 肝脏分割方法及装置、电子设备及存储介质 | |
CN114332667A (zh) | 玉米株型识别方法、装置、电子设备及存储介质 | |
CN105913422B (zh) | 基于气管分割的气管树提取方法 | |
CN113628346A (zh) | 一种自由浏览vb的方法以及进行标记的方法和系统 | |
CN111898672A (zh) | 一种基于最优图论的支气管段解剖结构的自动识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |