CN117455925B - 一种胸部多器官和肋骨分割方法及装置 - Google Patents
一种胸部多器官和肋骨分割方法及装置 Download PDFInfo
- Publication number
- CN117455925B CN117455925B CN202311808984.1A CN202311808984A CN117455925B CN 117455925 B CN117455925 B CN 117455925B CN 202311808984 A CN202311808984 A CN 202311808984A CN 117455925 B CN117455925 B CN 117455925B
- Authority
- CN
- China
- Prior art keywords
- rib
- domain
- label
- adhesion
- connected domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000002372 labelling Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims description 33
- 210000000038 chest Anatomy 0.000 claims description 27
- 210000000056 organ Anatomy 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 210000000481 breast Anatomy 0.000 claims 4
- 238000012163 sequencing technique Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000013467 fragmentation Methods 0.000 description 5
- 238000006062 fragmentation reaction Methods 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本发明是为了克服现有技术中的胸部器官和肋骨分割方法,难以规避肋骨类别标签不连续和整根类别标签错误的问题,提供一种胸部多器官和肋骨分割方法及装置,能够针对整根肋骨标签错误以及肋骨粘连的情况进行处理,且能够较为高效的完成对于肋骨分割和标签工作。本方法包括分割模型分割、连通域合并重新标注、肋骨粘连判断、肋骨重新排序以及标签更新四个环节。本装置主要包括分割模块、连通域合并重新标注模块、粘连判定模块、排序模块和标签更新模块。本方案最终能够修复某一根或某几根肋骨标签错误的问题,修正类别错误导致的整根肋骨标签错误,并且能够有效处理发生粘连的肋骨分割结果,保证最终的标签精度。
Description
技术领域
本发明涉及医学影像处理的器官分割和骨骼领域,特别涉及胸部器官分割及肋骨分割。
背景技术
CT图像是胸部器官病变和骨折等诊断的常用医疗手段,但是因为CT图像通常图片较多,阅片往往需要消耗很多的时间。近年来AI模型的引入使整体的诊断工作量明显下降。胸部CT使用AI诊断的第一步通常就是各个器官或骨骼的分割,一般包括肺部等的分割及肋骨的分割和计数(即肋骨分割完毕后再打上肋骨属于左右和第几根肋骨的标签)。AI分割模型分割结果一般会存在一些类别错误等问题,尤其肋骨的分割是这一类模型的难点,因为肋骨比较细长,在图像中是斜向弯曲的结构且在一定范围内排列多根,模型在对此类目标进行处理和分割时容易造成同一根肋骨类别标签不连续(mask碎裂)和整根类别标签错误的问题,使得分割时mask碎裂和分割错误等问题更加明显。仅靠模型进行精度的提升目前无法完全规避以上问题且需要消耗大量的运算资源(需要更好的硬件设备和更长的运行时间)。因此本发明在得到模型结果后增加后处理方法,在不修改模型的前提下获得更高的精度且计算开销小。
发明内容
本发明是为了克服现有技术中的胸部器官和肋骨分割方法,难以规避肋骨类别标签不连续和整根类别标签错误的问题,提供一种胸部多器官和肋骨分割方法,能够针对整根肋骨标签错误以及肋骨粘连的情况进行处理,且能够较为高效地完成对于肋骨分割和标签工作。
为实现上述目的,本发明采用以下技术方案:
将胸部CT图像输入训练完成的分割模型处理,获得多器官和肋骨第一分割结果;
对多器官和肋骨第一分割mask进行连通域合并和重新标注,获得包含合并连通域的第二多器官分割mask和第二肋骨分割mask;
计算第二肋骨分割mask中每个合并连通域体积占比相对于对应肋骨体积占比的倍数,根据所述倍数判定所述合并连通域是粘连连通域或未粘连连通域,并判断粘连连通域内粘连肋骨的个数;
计算未粘连连通域的肋骨的最大可能标签与其对应肋骨的标准标签对比的差值,根据所述差值的平均值四舍五入取整获得偏移量,将标准标签减去所述偏移量获得应赋予标签;
按照肋骨排列顺序,根据应赋予标签对第二肋骨分割mask中的每个合并连通域进行标签更新,对于粘连连通域,确定应赋予标签中对应粘连肋骨个数的多个当前值,若粘连连通域中每一个原标签均在所述多个当前值的范围内,则对粘连连通域内的原标签不做处理,若粘连连通域中原标签的主要标签中的最小值比应赋予标签多个当前值中的最小值更小,则将该粘连连通域内所有的原标签增加两者的差值进行更新;若粘连连通域中原标签的主要标签中的最大值比应赋予标签多个当前值中的最大值更大,则将该粘连连通域内所有的原标签减去两者的差值。
本申请同时提供一种胸部多器官及肋骨分割装置,所述装置包括分割模块、连通域合并重新标注模块、粘连判定模块、排序模块和标签更新模块,所述装置用于执行并实现本申请的一种胸部多器官和肋骨分割方法。
本方案主要包括分割模型分割、连通域合并重新标注、肋骨粘连判断、肋骨重新排序以及标签更新四个环节。其中分割模型采用全卷积神经网络3D-UNet,训练时使用深度监督的学习方式。连通域合并重新标注的步骤是将小连通域归入分割的大连通域,修正分割模型结果类别错误和分割mask碎裂的问题。肋骨粘连判断是以体积占比作为判断依据,避免年龄、性别、身高等因素的影响,更为精确地判断肋骨粘连的情况,避免对重新排序精度的干扰。肋骨重新排序,考虑了由于拍摄问题漏拍摄肋骨,导致预测结果与标准标签有整体的错位的问题,结合分割结果对肋骨进行重新排序。最后对肋骨的合并连通域进行更新标签步骤,修复某一根或某几根肋骨标签错误的问题,修正类别错误导致的整根肋骨标签错误,并且能够有效处理发生粘连的肋骨分割结果,保证最终的标签精度。
附图说明
图1为本申请的一种胸部多器官和肋骨分割方法的流程图。
图2为本申请的一种胸部多器官及肋骨分割装置的结构图。
图3为本实施例中的胸部CT图像示意图。
图4为本实施例中的分割模型分割结果示意图。
图5为本实施例中的着重展示分割错误的区域的示意图。
图6为图5经过连通域合并和重新标注后的示意图。
图7为图5经过肋骨排序和标签更新后示意图(错误区域)。
具体实施方式
下面结合附图和具体实施方式对发明做进一步描述。
本申请的一种胸部多器官和肋骨分割方法,如图1所示是本方法的流程图,具体包括以下步骤:
步骤S1,将胸部CT图像输入训练完成的分割模型处理,获得多器官和肋骨第一分割结果;
步骤S2,对多器官和肋骨第一分割mask进行连通域合并和重新标注,获得包含合并连通域的第二多器官分割mask和第二肋骨分割mask;
步骤S3,计算第二肋骨分割mask中每个合并连通域体积占比相对于对应肋骨体积占比的倍数,根据所述倍数判定所述合并连通域是粘连连通域或未粘连连通域,并判断粘连连通域内粘连肋骨的个数;
步骤S4,计算未粘连连通域的肋骨的最大可能标签与其对应肋骨的标准标签对比的差值,根据所述差值的平均值四舍五入取整获得偏移量,将标准标签减去所述偏移量获得应赋予标签;
步骤S5,按照肋骨排列顺序,根据应赋予标签对第二肋骨分割mask中的每个合并连通域进行标签更新,对于粘连连通域,确定应赋予标签中对应粘连肋骨个数的多个当前值,若粘连连通域中每一个原标签均在所述多个当前值的范围内,则对粘连连通域内的原标签不做处理,若粘连连通域中原标签的主要标签中的最小值比应赋予标签多个当前值中的最小值更小,则将该粘连连通域内所有的原标签增加两者的差值进行更新;若粘连连通域中原标签的主要标签中的最大值比应赋予标签多个当前值中的最大值更大,则将该粘连连通域内所有的原标签减去两者的差值。
步骤S1,将胸部CT图像输入训练完成的分割模型处理,获得多器官和肋骨第一分割结果。
分割模型使用AI分割模型3D-UNet对图像内的各个器官和骨骼进行分割,为使分割模型获得对数据中器官等的分割能力需要对模型进行训练,训练需要标注的mask及对应的原始CT图像。获得标注mask和对应原始图像后对图形做预处理,将图像和标注mask的spcaing进行统一,统计数据集的平均spacing作为训练和推理时使用的spacing,将所有训练数据的spacing统一到平均spacing,然后将统一spacing后的CT图像作为模型输入,mask作为监督对模型进行训练,训练采用深度监督的学习方式,训练后模型获得对原始图像内器官和骨骼的分割能力,输入重采样到训练spacing的原图即可对图中的器官和骨骼进行分割。
如图3为胸部CT图像示意图,其中一张,一般会有300多张。经过步骤S1处理后的结果为图4,为分割模型分割结果示意图,包含肺叶、脊柱、肋骨等内容。如图5为分割模型分割结果着重展示分割错误的区域的示意图,可以看出肋骨分割发生了错误,可以看到一根肋骨会有小的类似碎片一样的错误连通域存在,还存在肋骨粘连等问题。
步骤S2,对多器官和肋骨第一分割mask进行连通域合并和重新标注,获得包含合并连通域的第二多器官分割mask和第二肋骨分割mask。
所述的步骤S2主要是为了处理类别错误导致的mask碎裂的问题,具体包括:
步骤S201,从同类别标签的连通域中,选取最大的连通域,作为对应这一类别标签的大连通域,其他的同类别标签的连通域均作为小连通域;
步骤S202,将所有类别标签的大连通域和小连通域分别存储;
步骤S203,使用半径为2的球形算子将小连通域进行膨胀处理;
步骤S204,先将膨胀处理后的小连通域与肋骨大连通域做交集,将小连通域并入交集最大的肋骨大连通域,重复此步骤直到剩余的膨胀过的小连通域与肋骨大连通域都没有交集为止,获得第二肋骨分割mask;
步骤S205,针对第二肋骨分割mask以外的膨胀处理后的小连通域,与胸部多器官的大连通域做交集,将小连通域并入交集最大的胸部多器官大连通域,获得第二多器官分割mask。
经过这一系列步骤,清理了一些体积很小的碎片类的连通域,第二肋骨分割mask和第二多器官分割mask中均包含的是合并连通域,每个合并连通域都具有标签,所述标签就是代表分割标签结果,比如左肺叶标签、第一肋骨标签等。图6为图5经过步骤S2连通域合并和重新标注后的示意图。
步骤S3,计算第二肋骨分割mask中每个合并连通域体积占比相对于对应肋骨体积占比的倍数,根据所述倍数判定所述合并连通域是粘连连通域或未粘连连通域,并判断粘连连通域内粘连肋骨的个数。
本步骤不直接统计体积,而是以体积占比为依据是因为年龄大小、性别、身高等都会造成体积不同,但体积的比例基本相同。
所述的步骤S3具体包括以下步骤:
步骤S301,统计第二肋骨分割mask中的每个合并连通域在所有合并连通域中的体积占比作为第一占比信息;
步骤S302,统计训练数据中每根肋骨在所有肋骨中的体积占比作为第二占比信息;所述第二占比信息为:左右第一至十二根肋骨相对于所有二十四根肋骨的体积占比依次为2.32%、3.08%、3.74%、4.78%、5.45%、6.08%、6.21%、5.57%、5.17%、4.09%、2.47%、1.12%;
步骤S303,计算每个合并连通域的第一占比信息相对于对应肋骨的第二占比信息的倍数;
若所述倍数小于1.6,则判定这一合并连通域为未粘连连通域;
若所述倍数大于或等于1.6,则判定这一合并连通域为两条连续肋骨粘连;
若所述倍数大于或等于2.4,则判定这一合并连通域为三条连续肋骨粘连。
所谓的粘连的肋骨,是指图像分割中将两根或多根肋骨的分割结果粘连在了一起,有可能识别的标签不一定错误,只是多根肋骨粘连在一起或者合并连通域粘连在一起。肋骨由于彼此位置较为接近并且形态类似,因此比较容易发生分割后粘连的情况,这一问题会导致模型预测的类别错误导致的整根肋骨标签错误的情况更为负责,同时也会增加肋骨重新赋予正确标签的难度。因此本方案中创新的采用以上基于体积占比为主要判断因素的处理方案。
绝大多数情况下,成熟的分割模型结构,粘连的肋骨必然是连续的且至多为三条连续肋骨粘连,因此本实施例中不考虑,四条甚至更多肋骨粘连的情况。
步骤S4,计算未粘连连通域的肋骨的最大可能标签与其对应肋骨的标准标签对比的差值,根据所述差值的平均值四舍五入取整获得偏移量,将标准标签减去所述偏移量获得应赋予标签。
所述步骤S4具体包括以下步骤:
步骤S401,计算未粘连连通域的肋骨的最大可能标签,所述最大可能标签是未粘连连通域内体积最大的标签;
步骤S402,根据人体肋骨的左右各12根肋骨顺序的标准标签,遇到粘连连通域则跳过粘连肋骨数量相同的标准标签,依次计算未粘连连通域对应肋骨的标准标签;
步骤S403,依次对比未粘连连通域的肋骨的最大可能标签与标准标签间的差值;
步骤S404,重复步骤S401-S403计算每一根未粘连连通域的肋骨的所述差值,所有肋骨的所述差值的平均值四舍五入取整获得偏移量;
步骤S405,将标准标签减去所述偏移量获得应赋予标签。
所述标签就是模型预测分割结果,比如第一肋骨标签等。由于模型预测的误差等原因,会导致所述的标签错误,比如应该是第一肋骨的却是预测为第二肋骨,这是现有技术肋骨分割通常会发生的错误,也是本方案需要处理的问题。
对于一个合并连通域来说其中会含有多个标签,未粘连连通域也是如此,因此选择其中体积最大的标签作为这个未粘连连通域的最大可能标签。
而标准标签就是人体肋骨的左右各12根肋骨顺序的标准标签,就是对应左或右的第一肋骨、第二肋骨、第三肋骨直至第十二肋骨,以此按顺序的1、2、3直至12。
其中偏移量即模型给出的肋骨标签与标准肋骨标签之间的差,比如预测标签与标准标签整体平均相差1,则认为可能图像中肋骨缺少一根,这时将标准标签减去1即正确的标签。如果差值不等于零则表示预测结果与标准标签有整体的错位,原因可能是因为CT拍摄条件的影响,导致两端的肋骨没有拍摄到,比如第一根肋骨没有拍到且可能会造成肋骨的偏移量为-1。
步骤S5,按照肋骨排列顺序,根据应赋予标签对第二肋骨分割mask中的每个合并连通域进行标签更新,对于粘连连通域,确定应赋予标签中对应粘连肋骨个数的多个当前值,若粘连连通域中每一个原标签均在所述多个当前值的范围内,则对粘连连通域内的原标签不做处理,若粘连连通域中原标签的主要标签中的最小值比应赋予标签多个当前值中的最小值更小,则将该粘连连通域内所有的原标签增加两者的差值进行更新;若粘连连通域中原标签的主要标签中的最大值比应赋予标签多个当前值中的最大值更大,则将该粘连连通域内所有的原标签减去两者的差值。
本步骤是对于所有合并连通域包括粘连连通域和未粘连连通域的标签进行更新,打上应赋予标签,也就是正确标签,从而完成肋骨分割工作。肋骨分割的处理工作不仅要将各个肋骨从三维图像中区分,还需要识别肋骨的类型也就打上正确的标签。
本步骤S5中,原标签就是经过步骤2的连通域合并和重新标注第二肋骨分割mask中的合并连通域包括粘连连通域和未粘连连通域的带有的标签。
没有发生粘连的情况时,这一步骤较为简单,只要根据第二肋骨分割mask中的未粘连连通域对应肋骨的顺序,依次用应赋予标签更新原标签即可。每打一个标签即跳过应赋予标签内的一个值,然后换下一个肋骨连通域和应赋予标签的下一个值。
但是对于粘连连通域其中带有可能不只一个标签,因此对于粘连连通域中的每一个标签都需要判定。如果其中标签都在应赋予标签的当前2或3个当前值的范围内则不需要处理。所述当前值的个数和粘连连通域的粘连肋骨个数相同,比如判定是两根肋骨粘连的粘连连通域需要与应赋予标签内连续的两个值进行对比,三根肋骨粘连的粘连连通域需要与应赋予标签内连续的三个值进行对比。
原标签的主要标签就是原标签中,体积占比不小于0.33的标签。若粘连连通域中原标签的主要标签中的最小值比应赋予标签多个当前值中的最小值更小,则将该粘连连通域内所有的原标签增加两者的差值进行更新;若粘连连通域中原标签的主要标签中的最大值比应赋予标签多个当前值中的最大值更大,则将该粘连连通域内所有的原标签减去两者的差值。
如图7为图5经过肋骨排序和标签更新后示意图(错误区域),是通过本步骤处理之后的最终结果。修复某一根或某几根肋骨标签错误的问题,修正类别错误导致的整根肋骨标签错误,并且能够有效处理发生粘连的肋骨分割结果,对粘连的多根肋骨的粘连连通域内所有的原标签进行标签更新,从而保证了其他非粘连肋骨的最终的标签精度。
如图2,本申请实施例同时提供了一种胸部多器官及肋骨分割装置,所述装置用于执行并实现本申请的一种胸部多器官和肋骨分割方法。
所述装置包括以下模块:
分割模块1,用于将胸部CT图像输入训练完成的分割模型处理,获得多器官和肋骨第一分割结果;
连通域合并模块2,用于对多器官和肋骨第一分割mask进行连通域合并和重新标注,获得包含合并连通域的第二多器官分割mask和第二肋骨分割mask;
粘连判定模块3,用计算第二肋骨分割mask中每个合并连通域体积占比相对于对应肋骨体积占比的倍数,根据所述倍数判定所述合并连通域是粘连连通域或未粘连连通域,并判断粘连连通域内粘连肋骨的个数;
排序模块4,计算未粘连连通域的肋骨的最大可能标签与其对应肋骨的标准标签对比的差值,根据所述差值的平均值四舍五入取整获得偏移量,将标准标签减去所述偏移量获得应赋予标签;
标签更新模块5,用于按照肋骨排列顺序,根据应赋予标签对第二肋骨分割mask中的每个合并连通域进行标签更新,对于粘连连通域,确定应赋予标签中对应粘连肋骨个数的多个当前值,若粘连连通域中每一个原标签均在所述多个当前值的范围内,则对粘连连通域内的原标签不做处理,若粘连连通域中原标签的主要标签中的最小值比应赋予标签多个当前值中的最小值更小,则将该粘连连通域内所有的原标签增加两者的差值进行更新;若粘连连通域中原标签的主要标签中的最大值比应赋予标签多个当前值中的最大值更大,则将该粘连连通域内所有的原标签减去两者的差值。
所述装置主要实现包括分割模型分割、连通域合并重新标注、肋骨粘连判断、肋骨重新排序、标签更新的四个处理环节。其中分割模型采用全卷积神经网络3D-UNet,训练时使用深度监督的学习方式。连通域合并重新标注的步骤是将小连通域归入分割的大连通域,修正分割模型结果类别错误和分割mask碎裂的问题。肋骨粘连判断是以体积占比作为判断依据,避免年龄、性别、身高等因素的影响,更为精确地判断肋骨粘连的情况,避免对重新排序精度的干扰。肋骨重新排序,考虑了由于拍摄问题漏拍摄肋骨,导致预测结果与标准标签有整体的错位的问题,结合分割结果对肋骨进行重新排序。最后对肋骨的合并连通域进行更新标签步骤,修复某一根或某几根肋骨标签错误的问题,修正类别错误导致的整根肋骨标签错误,并且能够有效处理发生粘连的肋骨分割结果,保证最终的标签精度。
Claims (6)
1.一种胸部多器官和肋骨分割方法,其特征是,所述方法包括以下步骤:
将胸部CT图像输入训练完成的分割模型处理,获得多器官和肋骨第一分割结果;
对多器官和肋骨第一分割mask进行连通域合并和重新标注,获得包含合并连通域的第二多器官分割mask和第二肋骨分割mask;
所述的连通域合并和重新标注的步骤,进一步包括:
从同类别标签的连通域中,选取最大的连通域,作为对应这一类别标签的大连通域,其他的同类别标签的连通域均作为小连通域;
将所有类别标签的大连通域和小连通域分别存储;
使用半径为2的球形算子将小连通域进行膨胀处理;
先将膨胀处理后的小连通域与肋骨大连通域做交集,将小连通域并入交集最大的肋骨大连通域,重复此步骤直到剩余的膨胀过的小连通域与肋骨大连通域都没有交集为止,获得第二肋骨分割mask;
针对第二肋骨分割mask以外的膨胀处理后的小连通域,与胸部多器官的大连通域做交集,将小连通域并入交集最大的胸部多器官大连通域,获得第二多器官分割mask;
计算第二肋骨分割mask中每个合并连通域体积占比相对于对应肋骨体积占比的倍数,根据所述倍数判定所述合并连通域是粘连连通域或未粘连连通域,并判断粘连连通域内粘连肋骨的个数;
所述合并连通域体积占比,是统计第二肋骨分割 mask 中的每个合并连通域在所有合并连通域中的体积占比;所述肋骨体积占比,是统计训练数据中每根肋骨在所有肋骨中的体积占比;
计算未粘连连通域的肋骨的最大可能标签与其对应肋骨的标准标签对比的差值,根据所述差值的平均值四舍五入取整获得偏移量,将标准标签减去所述偏移量获得应赋予标签;
按照肋骨排列顺序,根据应赋予标签对第二肋骨分割mask中的每个合并连通域进行标签更新,对于粘连连通域,确定应赋予标签中对应粘连肋骨个数的多个当前值,若粘连连通域中每一个原标签均在所述多个当前值的范围内,则对粘连连通域内的原标签不做处理,若粘连连通域中原标签的主要标签中的最小值比应赋予标签多个当前值中的最小值更小,则将该粘连连通域内所有的原标签增加两者的差值进行更新;若粘连连通域中原标签的主要标签中的最大值比应赋予标签多个当前值中的最大值更大,则将该粘连连通域内所有的原标签减去两者的差值;
所述最大可能标签,是未粘连连通域内体积最大的标签;
所述标准标签,是按照人体肋骨的左右各12根肋骨顺序的标签;
所述原标签,是经过所述的连通域合并和重新标注第二肋骨分割mask中的合并连通域包括粘连连通域和未粘连连通域中带有的标签;
所述原标签的主要标签,是所述原标签中体积占比不小于预设阈值的标签。
2.根据权利要求1所述的一种胸部多器官和肋骨分割方法,其特征是,所述的计算第二肋骨分割mask中每个合并连通域体积占比相对于对应肋骨体积占比的倍数,根据所述倍数判定所述合并连通域是粘连连通域或未粘连连通域,并判断粘连连通域内粘连肋骨的个数,进一步包括:
统计第二肋骨分割mask中的每个合并连通域在所有合并连通域中的体积占比作为第一占比信息;
统计训练数据中每根肋骨在所有肋骨中的体积占比作为第二占比信息;
计算每个合并连通域的第一占比信息相对于对应肋骨的第二占比信息的倍数;
若所述倍数小于1.6,则判定这一合并连通域为未粘连连通域;
若所述倍数大于或等于1.6,则判定这一合并连通域为粘连连通域,且发生两条连续肋骨粘连;
若所述倍数大于或等于2.4,则判定这一合并连通域为为粘连连通域,且发生三条连续肋骨粘连。
3.根据权利要求2所述的一种胸部多器官和肋骨分割方法,其特征是,所述第二占比信息为:左右第一至十二根肋骨相对于所有二十四根肋骨的体积占比依次为2.32%、3.08%、3.74%、4.78%、5.45%、6.08%、6.21%、5.57%、5.17%、4.09%、2.47%、1.12%。
4.根据权利要求1所述的一种胸部多器官和肋骨分割方法,其特征是,计算未粘连连通域的肋骨的最大可能标签与其对应肋骨的标准标签对比的差值,进一步包括:
计算未粘连连通域的肋骨的最大可能标签,所述最大可能标签是未粘连连通域内体积最大的标签;
根据人体肋骨的左右各12根肋骨顺序的标准标签,遇到粘连连通域则跳过粘连肋骨数量相同的标准标签,依次计算未粘连连通域对应肋骨的标准标签;
依次对比未粘连连通域的肋骨的最大可能标签与标准标签间的差值。
5.根据权利要求1所述的一种胸部多器官和肋骨分割方法,其特征是,所述的分割模型采用3D-UNet模块,训练采用深度监督的学习方式。
6.一种胸部多器官及肋骨分割装置,其特征是,所述装置包括以下模块:
分割模块,用于将胸部CT图像输入训练完成的分割模型处理,获得多器官和肋骨第一分割结果;
连通域合并模块,用于对多器官和肋骨第一分割mask进行连通域合并和重新标注,获得包含合并连通域的第二多器官分割mask和第二肋骨分割mask;
所述的连通域合并和重新标注的步骤,进一步包括:
从同类别标签的连通域中,选取最大的连通域,作为对应这一类别标签的大连通域,其他的同类别标签的连通域均作为小连通域;
将所有类别标签的大连通域和小连通域分别存储;
使用半径为2的球形算子将小连通域进行膨胀处理;
先将膨胀处理后的小连通域与肋骨大连通域做交集,将小连通域并入交集最大的肋骨大连通域,重复此步骤直到剩余的膨胀过的小连通域与肋骨大连通域都没有交集为止,获得第二肋骨分割mask;
针对第二肋骨分割mask以外的膨胀处理后的小连通域,与胸部多器官的大连通域做交集,将小连通域并入交集最大的胸部多器官大连通域,获得第二多器官分割mask;
粘连判定模块,用计算第二肋骨分割mask中每个合并连通域体积占比相对于对应肋骨体积占比的倍数,根据所述倍数判定所述合并连通域是粘连连通域或未粘连连通域,并判断粘连连通域内粘连肋骨的个数;
所述合并连通域体积占比,是统计第二肋骨分割 mask 中的每个合并连通域在所有合并连通域中的体积占比;所述肋骨体积占比,是统计训练数据中每根肋骨在所有肋骨中的体积占比;
排序模块,计算未粘连连通域的肋骨的最大可能标签与其对应肋骨的标准标签对比的差值,根据所述差值的平均值四舍五入取整获得偏移量,将标准标签减去所述偏移量获得应赋予标签;
标签更新模块,用于按照肋骨排列顺序,根据应赋予标签对第二肋骨分割mask中的每个合并连通域进行标签更新,对于粘连连通域,确定应赋予标签中对应粘连肋骨个数的多个当前值,若粘连连通域中每一个原标签均在所述多个当前值的范围内,则对粘连连通域内的原标签不做处理,若粘连连通域中原标签的主要标签中的最小值比应赋予标签多个当前值中的最小值更小,则将该粘连连通域内所有的原标签增加两者的差值进行更新;若粘连连通域中原标签的主要标签中的最大值比应赋予标签多个当前值中的最大值更大,则将该粘连连通域内所有的原标签减去两者的差值;
所述最大可能标签,是未粘连连通域内体积最大的标签;
所述标准标签,是按照人体肋骨的左右各12根肋骨顺序的标签;
所述原标签,是经过所述的连通域合并和重新标注第二肋骨分割mask中的合并连通域包括粘连连通域和未粘连连通域中带有的标签;
所述原标签的主要标签,是所述原标签中体积占比不小于预设阈值的标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311808984.1A CN117455925B (zh) | 2023-12-26 | 2023-12-26 | 一种胸部多器官和肋骨分割方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311808984.1A CN117455925B (zh) | 2023-12-26 | 2023-12-26 | 一种胸部多器官和肋骨分割方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117455925A CN117455925A (zh) | 2024-01-26 |
CN117455925B true CN117455925B (zh) | 2024-05-17 |
Family
ID=89584147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311808984.1A Active CN117455925B (zh) | 2023-12-26 | 2023-12-26 | 一种胸部多器官和肋骨分割方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117455925B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117649418B (zh) * | 2024-01-30 | 2024-04-19 | 神州医疗科技股份有限公司 | 一种胸部多器官分割方法及系统和计算机可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101452577A (zh) * | 2008-11-26 | 2009-06-10 | 沈阳东软医疗系统有限公司 | 一种肋骨自动标定的方法及装置 |
CN109785303A (zh) * | 2018-12-28 | 2019-05-21 | 上海联影智能医疗科技有限公司 | 肋骨标记方法、装置、设备以及图像分割模型的训练方法 |
CN111915620A (zh) * | 2020-06-19 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种ct肋骨分割方法及装置 |
CN112489005A (zh) * | 2020-11-26 | 2021-03-12 | 推想医疗科技股份有限公司 | 骨分割方法及装置、骨折检出方法及装置 |
CN112785591A (zh) * | 2021-03-05 | 2021-05-11 | 杭州健培科技有限公司 | 一种ct影像中肋骨骨折的检测与分割方法及装置 |
CN114511587A (zh) * | 2022-01-29 | 2022-05-17 | 慧影医疗科技(北京)股份有限公司 | 一种ct图像的标记方法、系统、介质及设备 |
CN115527065A (zh) * | 2022-09-27 | 2022-12-27 | 武汉联影医疗科技有限公司 | 髋关节分型方法、装置和存储介质 |
CN115619792A (zh) * | 2022-12-20 | 2023-01-17 | 杭州健培科技有限公司 | 一种ct影像中肋骨二维展开方法、装置及应用 |
WO2023283980A1 (zh) * | 2021-07-14 | 2023-01-19 | 江苏宏创信息科技有限公司 | 一种应用于临床影像的人工智能医学影像质控方法 |
WO2023050690A1 (zh) * | 2021-09-28 | 2023-04-06 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备、存储介质和程序 |
CN116012391A (zh) * | 2022-12-16 | 2023-04-25 | 杭州脉流科技有限公司 | 基于脑ct灌注影像分割脑实质及脑脊液区域的方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019041262A1 (en) * | 2017-08-31 | 2019-03-07 | Shenzhen United Imaging Healthcare Co., Ltd. | SYSTEM AND METHOD FOR IMAGE SEGMENTATION |
CN112699869A (zh) * | 2020-12-17 | 2021-04-23 | 深圳视见医疗科技有限公司 | 基于深度学习的肋骨骨折辅助检测方法及图像识别方法 |
-
2023
- 2023-12-26 CN CN202311808984.1A patent/CN117455925B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101452577A (zh) * | 2008-11-26 | 2009-06-10 | 沈阳东软医疗系统有限公司 | 一种肋骨自动标定的方法及装置 |
CN109785303A (zh) * | 2018-12-28 | 2019-05-21 | 上海联影智能医疗科技有限公司 | 肋骨标记方法、装置、设备以及图像分割模型的训练方法 |
CN111915620A (zh) * | 2020-06-19 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种ct肋骨分割方法及装置 |
CN112489005A (zh) * | 2020-11-26 | 2021-03-12 | 推想医疗科技股份有限公司 | 骨分割方法及装置、骨折检出方法及装置 |
CN112785591A (zh) * | 2021-03-05 | 2021-05-11 | 杭州健培科技有限公司 | 一种ct影像中肋骨骨折的检测与分割方法及装置 |
WO2023283980A1 (zh) * | 2021-07-14 | 2023-01-19 | 江苏宏创信息科技有限公司 | 一种应用于临床影像的人工智能医学影像质控方法 |
WO2023050690A1 (zh) * | 2021-09-28 | 2023-04-06 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备、存储介质和程序 |
CN114511587A (zh) * | 2022-01-29 | 2022-05-17 | 慧影医疗科技(北京)股份有限公司 | 一种ct图像的标记方法、系统、介质及设备 |
CN115527065A (zh) * | 2022-09-27 | 2022-12-27 | 武汉联影医疗科技有限公司 | 髋关节分型方法、装置和存储介质 |
CN116012391A (zh) * | 2022-12-16 | 2023-04-25 | 杭州脉流科技有限公司 | 基于脑ct灌注影像分割脑实质及脑脊液区域的方法 |
CN115619792A (zh) * | 2022-12-20 | 2023-01-17 | 杭州健培科技有限公司 | 一种ct影像中肋骨二维展开方法、装置及应用 |
Non-Patent Citations (3)
Title |
---|
Fully convolutional network-based multi-output model for automatic segmentation of organs at risk in thorax;Jie Zhang等;sage journals;20210530;第1-19页 * |
中部切断肋骨和腋下中部切断肋骨剖胸方法在剖胸手术中的应用研究;范扬航;吴智勇;章克毅;黄建豪;;中国基层医药;20060228(第02期);全文 * |
基于完全融合集成网络候选框的肋骨骨折检测方法;何学才;解剖学报;20220630;第396-401页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117455925A (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117455925B (zh) | 一种胸部多器官和肋骨分割方法及装置 | |
CN111784700B (zh) | 肺叶分割、模型训练、模型构建与分割方法、系统及设备 | |
US5638458A (en) | Automated method and system for the detection of gross abnormalities and asymmetries in chest images | |
Ségonne et al. | A genetic algorithm for the topology correction of cortical surfaces | |
US10902587B2 (en) | Methods and systems for labeling whole spine image using deep neural network | |
EP2988272A2 (en) | A method for computer-aided analysis of medical images | |
CN111160367A (zh) | 图像分类方法、装置、计算机设备和可读存储介质 | |
CN111311655B (zh) | 多模态图像配准方法、装置、电子设备、存储介质 | |
CN111507381A (zh) | 图像识别方法及相关装置、设备 | |
CN110555860B (zh) | 医学图像中肋骨区域标注的方法、电子设备和存储介质 | |
CN109740689A (zh) | 一种图像语义分割的错误标注数据筛选方法及系统 | |
US20070086659A1 (en) | Method for groupwise point set matching | |
EP2689344B1 (en) | Knowledge-based automatic image segmentation | |
Babalola et al. | 3D brain segmentation using active appearance models and local regressors | |
CN110619621B (zh) | 识别图像中肋骨区域的方法、装置、电子设备和存储介质 | |
CN112766314A (zh) | 解剖结构的识别方法、电子设备及存储介质 | |
CN111178442A (zh) | 一种提高算法精度的业务实现方法 | |
US20220375091A1 (en) | Method and apparatus of processing image | |
CN110555850A (zh) | 识别图像中肋骨区域的方法、装置、电子设备和存储介质 | |
EP4195148A1 (en) | Selecting training data for annotation | |
CN112802040B (zh) | 一种基于边缘感知的x光片气胸分割及评估方法 | |
CN112734697B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
van Rikxoort et al. | Adaptive local multi-atlas segmentation: Application to heart segmentation in chest CT scans | |
Sirazitdinov et al. | Landmark constellation models for central venous catheter malposition detection | |
CN114049358A (zh) | 肋骨实例分割、计数与定位的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |