CN116309571B - 一种基于半监督学习的三维脑血管分割方法和装置 - Google Patents
一种基于半监督学习的三维脑血管分割方法和装置 Download PDFInfo
- Publication number
- CN116309571B CN116309571B CN202310560177.6A CN202310560177A CN116309571B CN 116309571 B CN116309571 B CN 116309571B CN 202310560177 A CN202310560177 A CN 202310560177A CN 116309571 B CN116309571 B CN 116309571B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- student
- cerebrovascular
- image
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 323
- 238000000034 method Methods 0.000 title claims abstract description 120
- 238000003709 image segmentation Methods 0.000 claims abstract description 113
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 111
- 210000004556 brain Anatomy 0.000 claims abstract description 55
- 230000002490 cerebral effect Effects 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 63
- 238000012549 training Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 30
- 230000002792 vascular Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012423 maintenance Methods 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 210000003625 skull Anatomy 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005457 optimization Methods 0.000 abstract description 11
- 238000002372 labelling Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 125000004122 cyclic group Chemical group 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000002779 inactivation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000009443 Vascular Malformations Diseases 0.000 description 1
- 206010057469 Vascular stenosis Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及计算机视觉领域,提供一种基于半监督学习的三维脑血管分割方法和装置,其中方法包括:确定待分割的脑血管图像;基于脑血管图像分割模型,对脑血管图像进行血管分割,得到血管分割结果;脑血管图像分割模型的确定步骤包括:获取脑血管样本图像,脑血管样本图像包括第一样本图像对应的初始带噪标签,以及第二样本图像对应的真实标签;基于学生第一分割损失、学生第二分割损失和一致性损失,对初始脑血管图像分割模型进行参数迭代,得到脑血管图像分割模型,同时基于体素不确定性图对带噪标签进行循环优化。本发明提供的基于半监督学习的三维脑血管分割方法和装置,能够有效提高脑血管分割的准确性。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于半监督学习的三维脑血管分割方法和装置。
背景技术
脑血管分割是脑血管造影图像分析中最具挑战性的工作之一,在医学诊断中起着重要的作用。精准的脑血管分割可以实现脑血管的三维可视化,以用于血管狭窄、动脉瘤、畸形团等结构异常的诊断、定量和分级。因此,精准自动化的脑血管分割是医学影像分析领域的重要课题。
当前的脑血管分割研究模型集中于有监督模型,依赖于大量的手工标签。但是脑血管的手工标记成本非常高,因此手工标注数据规模普遍较小,限制了模型学习目标任务的能力。
现有的基于半监督学习的脑血管分割方法主要包括伪标签方法和无监督正则化。伪标签中大量噪声的存在使得模型学习目标偏移,限制了模型的分割性能。基于一致性正则化的方法也未充分利用大量无标注数据,仍然没有解决手工标注缺乏的难题。因此,如何提供一种高效的适用于半监督学习的脑血管分割方法是相关领域技术人员亟需解决的技术问题之一。
发明内容
本发明提供一种基于半监督学习的三维脑血管分割方法和装置,用以解决现有技术中脑血管分割方法依赖手工标注且分割性能受限的缺陷。
本发明提供一种基于半监督学习的三维脑血管分割方法,包括:
确定待分割的脑血管图像;
基于脑血管图像分割模型,对所述脑血管图像进行血管分割,得到血管分割结果;
所述脑血管图像分割模型的确定步骤包括:
获取脑血管样本图像,所述脑血管样本图像包括第一样本图像对应的初始带噪标签,以及第二样本图像对应的真实标签;
基于初始脑血管图像分割模型中的学生网络,分别提取所述第一样本图像的学生第一分割结果和所述第二样本图像的学生第二分割结果;
基于所述学生第一分割结果与当前轮次的优化带噪标签之间的差异,确定学生第一分割损失,并基于所述学生第二分割结果与所述真实标签之间的差异,确定学生第二分割损失;
基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像的教师第一分割结果,并基于所述学生第一分割结果与所述教师第一分割结果之间的差异,确定一致性损失;
基于所述学生第一分割损失、所述学生第二分割损失和所述一致性损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型;
所述当前轮次的优化带噪标签的确定步骤包括:
在当前轮次参数迭代过程中,基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像中每个体素的预测分类概率,并基于所述每个体素的预测分类概率得到体素不确定性图;
基于所述体素不确定性图,对上一轮次的优化带噪标签进行去噪优化,得到所述当前轮次的优化带噪标签,首轮次的优化带噪标签为所述初始带噪标签。
根据本发明提供的一种基于半监督学习的三维脑血管分割方法,所述基于所述每个体素的预测分类概率得到体素不确定性图,包括:
基于所述每个体素的预测分类概率,采用预测熵确定所述每个体素的不确定性值;
对所述每个体素的不确定性值进行归一化,得到所述体素不确定性图。
根据本发明提供的一种基于半监督学习的三维脑血管分割方法,所述当前轮次的优化带噪标签基于如下公式确定:
;
式中,表示上一轮次的优化带噪标签,/>表示当前轮次的优化带噪标签,/>表示二值化的标签噪声图,/>表示体素不确定性图。
根据本发明提供的一种基于半监督学习的三维脑血管分割方法,所述基于所述学生第一分割损失、所述学生第二分割损失和所述一致性损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型,包括:
基于所述体素不确定性图中每个体素的不确定性值,以及不确定性阈值,分别对所述学生第一分割损失和所述一致性损失进行不确定性感知指导下的更新,得到不确定性感知的学生第一分割损失和一致性损失;
基于所述不确定性感知的学生第一分割损失和一致性损失,以及所述学生第二分割损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型。
根据本发明提供的一种基于半监督学习的三维脑血管分割方法,所述基于所述学生第二分割结果与所述真实标签之间的差异,确定学生第二分割损失,包括:
基于所述学生第二分割结果与所述真实标签在拓扑结构上的相似度,确定拓扑保持损失函数;
基于所述学生第二分割结果与所述真实标签在体素类别上的相似度,确定体素类别损失函数;
基于所述学生第二分割结果与所述真实标签之间的加权豪斯多夫距离,确定加权豪斯多夫距离损失函数;
基于所述拓扑保持损失函数、所述体素类别损失函数和所述加权豪斯多夫距离损失函数中的至少一种,确定所述学生第二分割损失。
根据本发明提供的一种基于半监督学习的三维脑血管分割方法,所述获取脑血管样本图像,包括:
获取初始脑血管样本图像;
对所述初始脑血管样本图像进行去颅骨分割和偏置场校正,得到所述脑血管样本图像;
基于海森矩阵的多尺度滤波方法,对所述脑血管样本图像进行血管增强,得到血管增强图像;所述脑血管样本图像和所述血管增强图像用于训练所述初始脑血管图像分割模型。
根据本发明提供的一种基于半监督学习的三维脑血管分割方法,所述对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型,包括:
在每一轮参数迭代过程中,更新所述学生网络的权重,并通过指数移动平均更新所述教师网络的权重,直至完成参数迭代,得到所述脑血管图像分割模型。
本发明还提供一种基于半监督学习的三维脑血管分割装置,包括:
图像确定单元,用于确定待分割的脑血管图像;
血管分割单元,用于基于脑血管图像分割模型,对所述脑血管图像进行血管分割,得到血管分割结果;
所述脑血管图像分割模型的确定步骤包括:
获取脑血管样本图像,所述脑血管样本图像包括第一样本图像对应的初始带噪标签,以及第二样本图像对应的真实标签;
基于初始脑血管图像分割模型中的学生网络,分别提取所述第一样本图像的学生第一分割结果和所述第二样本图像的学生第二分割结果;
基于所述学生第一分割结果与当前轮次的优化带噪标签之间的差异,确定学生第一分割损失,并基于所述学生第二分割结果与所述真实标签之间的差异,确定学生第二分割损失;
基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像的教师第一分割结果,并基于所述学生第一分割结果与所述教师第一分割结果之间的差异,确定一致性损失;
基于所述学生第一分割损失、所述学生第二分割损失和所述一致性损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型;
所述当前轮次的优化带噪标签的确定步骤包括:
在当前轮次参数迭代过程中,基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像中每个体素的预测分类概率,并基于所述每个体素的预测分类概率得到体素不确定性图;
基于所述体素不确定性图,对上一轮次的优化带噪标签进行去噪优化,得到所述当前轮次的优化带噪标签,首轮次的优化带噪标签为所述初始带噪标签。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种基于半监督学习的三维脑血管分割方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种基于半监督学习的三维脑血管分割方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种基于半监督学习的三维脑血管分割方法。
本发明提供的基于半监督学习的三维脑血管分割方法和装置,通过对初始噪声标签进行循环优化,高质量标签和优化后的噪声标签共同指导基于“学生-教师”网络的半监督模型的学习,可以将大量的无标注数据用于半监督模型,避免了对手工标注的依赖。此外,噪声标签循环优化充分利用了噪声标签中潜在的有用信息,能够有效提高脑血管分割的准确性、鲁棒性和泛化性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于半监督学习的三维脑血管分割方法的流程示意图之一;
图2是本发明提供的基于半监督学习的三维脑血管分割方法的流程示意图之二;
图3是本发明提供的基于半监督学习的三维脑血管分割装置的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有的基于半监督学习的脑血管分割方法主要包括伪标签方法和无监督正则化。
伪标签方法将模型得到的分割结果作为标签赋予无标注数据,并与真实标签混合用于网络的训练。使用统计模型生成的带噪声标签和血管增强图得到的软标签直接用于网络的学习,该方法没有考虑标签噪声对模型的影响,因此很大程度依赖噪声标签的质量,不具有普适性。通过对高斯-马尔科夫模型提供的初步分割结果进行离线清洗,可以为网络提供质量较好的伪标签,但该方法的局限性在于离线的伪标签清洗方法不能从高质量标注数据中获取有用的信息,同时显著增大了计算资源开销。
与伪标签方法不同的是,无监督正则化方法旨在将无标注数据纳入训练过程中,并与有标注数据进行协同训练。一致性正则化是其中的典型方法之一,基于扰动不应改变模型输出的假设,能够充分挖掘无标注数据的有价值信息。
基于深度模型对弹性形变一致性的假设,对脑血管图像和血管标签进行弹性形变,并强制模型对形变前后的分割结果一致性训练模型,但使用的训练数据非常少,难以保证模型的泛化能力。通过从脑血管分割结果重建输入图像,并基于输入与重建的一致性指导网络训练,使得分割模块和重建模型互相约束、互相依赖,取得了较好的分割性能。通过学生网络与教师网络的输出一致性指导学生网络的训练,并基于脑血管区域连通性指导一致性损失函数的设计,使模型更关注血管结构的连续性,但该方法并没有使用到有价值的伪标签,网络难以从无标注数据中获取更多有用的信息。
上述研究均取得了较好的脑血管分割性能,也促进了半监督方法在脑血管分割领域的快速发展,但仍具有较大的局限性。上述基于伪标签的脑血管分割方法没有充分考虑标签噪声对模型训练的影响,也未提出更好的噪声标签清洗策略,大量噪声的存在将会使得模型学习目标偏移,限制了模型的分割性能。基于一致性正则化的方法也未充分利用大量无标注数据,仍然没有解决手工标注缺乏的难题。
基于此,本发明实施例提供一种基于半监督学习的三维脑血管分割方法,图1是本发明提供的基于半监督学习的三维脑血管分割方法的流程示意图之一,该方法中各步骤的执行主体可以是基于半监督学习的三维脑血管分割装置,该装置可通过软件和/或硬件实现,该装置可集成在电子设备中,电子设备可以是终端设备(如智能手机、个人电脑等),也可以是服务器(如本地服务器或云端服务器,也可以为服务器集群等),也可以是处理器,也可以是芯片等。如图1所示,该方法可以包括如下步骤:
步骤110,确定待分割的脑血管图像。
具体地,待分割的脑血管图像是指后续用于脑血管分割的图像,此处的脑血管图像可以是三维图像,具体可以是磁共振血管造影(TOF-MRA)图像,也可以是CTA图像(Computed Tomography Angiography,计算机断层摄影血管造影),本发明实施例对此不作具体限定。
步骤120,基于脑血管图像分割模型,对脑血管图像进行血管分割,得到血管分割结果;
具体地,为了实现对脑血管图像进行血管分割,可预先训练得到脑血管图像分割模型。在此基础上,将待分割的脑血管图像输入训练完成的脑血管图像分割模型,得到脑血管图像分割模型输出的血管分割结果。
其中,脑血管图像分割模型可基于如下步骤训练得到:
步骤210,获取脑血管样本图像,脑血管样本图像包括第一样本图像对应的初始带噪标签,以及第二样本图像对应的真实标签。
此处,第一样本图像对应的初始带噪标签可以通过基于统计模型或深度模型等非手工标注的方法对无标注的第一样本图像进行分割得到。由于采用非手工标注进行分割,由此得到的分割结果准确性欠佳,通常包含大量噪声,可将第一样本图像及其对应的初始带噪标签称为低质量标注数据。
第二样本图像对应的真实标签可通过人工标注得到,通常是准确无误的,可将第二样本图像及其对应的真实标签称为高质量标注数据。
优选地,为了进一步提高脑血管分割的准确性,可对获取的脑血管样本图像进行预处理和血管增强,将预处理后得到的样本图像和血管增强图像同时输入初始脑血管图像分割模型,以进行模型训练。
步骤220,基于初始脑血管图像分割模型中的学生网络,分别提取第一样本图像的学生第一分割结果和第二样本图像的学生第二分割结果。
具体地,获取脑血管样本图像之后,可构建初始脑血管图像分割模型。初始脑血管图像分割模型可采用“学生-教师”网络作为模型的骨架网络,“学生-教师”网络由两个架构相同,权重不同的分割网络组成,分别为学生网络和教师网络。
将第一样本图像输入初始脑血管图像分割模型中的学生网络,得到学生网络输出的分割结果,可称为学生第一分割结果;同时将第二样本图像输入学生网络,得到学生网络输出的分割结果,可称为学生第二分割结果。
步骤230,基于学生第一分割结果与当前轮次的优化带噪标签之间的差异,确定学生第一分割损失,并基于学生第二分割结果与真实标签之间的差异,确定学生第二分割损失。
具体地,得到学生网络分别输出的学生第一分割结果和学生第二分割结果之后,可基于学生第一分割结果与当前轮次的优化带噪标签之间的差异,确定学生第一分割损失。学生第一分割损失用于衡量学生网络针对低质量标注数据进行分割的分割结果,与其对应的带噪标签之间的差异。
此外,还可基于学生第二分割结果与真实标签之间的差异,确定学生第二分割损失,学生第二分割损失用于衡量学生网络针对高质量标注数据进行分割的分割结果,与其对应的真实标签之间的差异。
此处,学生第一分割损失和学生第二分割损失可采用常规的图像分割损失,比如基于类不平衡的损失,也可采用基于血管特征的分割损失,比如基于拓扑相似度的损失、基于加权豪斯多夫距离的损失函数,当然还可以是其中的两种或多种损失的结合,本发明实施例对此不作具体限定。
步骤240,基于初始脑血管图像分割模型中的教师网络,提取第一样本图像的教师第一分割结果,并基于学生第一分割结果与教师第一分割结果之间的差异,确定一致性损失。
具体地,通过学生网络与教师网络的输出一致性可指导学生网络的训练,将第一样本图像输入教师网络,得到教师网络输出的分割结果,可称为教师第一分割结果。
通过鼓励同一输入在不同扰动下,教师网络的分割结果与学生网络的分割结果保持一致,可以达到优越的分割性能。针对第一样本图像,学生第一分割结果为学生网络的分割结果,教师第一分割结果为教师网络的分割结果。因此可基于学生第一分割结果与教师第一分割结果之间的差异确定一致性损失。
步骤250,基于学生第一分割损失、学生第二分割损失和一致性损失,对初始脑血管图像分割模型进行参数迭代,得到脑血管图像分割模型。
通过上述步骤得到学生第一分割损失、学生第二分割损失和一致性损失的基础上,可预设各个损失的权重,基于权重将学生第一分割损失、学生第二分割损失和一致性损失进行加权融合,得到初始脑血管图像分割模型的模型损失,基于模型损失对初始脑血管图像分割模型进行参数迭代,得到训练完成的脑血管图像分割模型。
需要说明的是,在步骤230中,当前轮次的优化带噪标签的确定步骤包括:
步骤310,在当前轮次参数迭代过程中,基于初始脑血管图像分割模型中的教师网络,提取第一样本图像中每个体素的预测分类概率,并基于每个体素的预测分类概率得到体素不确定性图;
步骤320,基于体素不确定性图,对上一轮次的优化带噪标签进行去噪优化,得到当前轮次的优化带噪标签,首轮次的优化带噪标签为初始带噪标签。
具体地,为了充分利用噪声标签中潜在的有用信息,本发明实施例对噪声标签进行循环优化。高质量标签和优化后的噪声标签共同指导基于“学生-教师”网络的半监督模型的学习。
将第一样本图像输入初始脑血管图像分割模型中的教师网络,由教师网络提取第一样本图像中每个体素的预测分类概率,并基于每个体素的预测分类概率得到体素不确定性图,体素不确定性图可以表征教师网络的认知不确定性。
得到体素不确定性图之后,对上一轮次的优化带噪标签进行去噪优化,得到当前轮次的优化带噪标签。在下一个训练周期,用优化后的去噪标签替换上一轮的噪声标签,这样模型就可以在训练过程中逐步优化噪声标签,优化后的标签反过来促进模型的学习。
需说明的是,首轮次的优化带噪标签为初始带噪标签,即第一样本图像对应的初始带噪标签。
本发明实施例提供的方法,通过对初始噪声标签进行循环优化,高质量标签和优化后的噪声标签共同指导基于“学生-教师”网络的半监督模型的学习,可以将大量的无标注数据用于半监督模型,避免了对手工标注的依赖。此外,噪声标签循环优化充分利用了噪声标签中潜在的有用信息,能够有效提高脑血管分割的准确性。
基于上述实施例,步骤310中基于每个体素的预测分类概率得到体素不确定性图,包括:
步骤311,基于每个体素的预测分类概率,采用预测熵确定每个体素的不确定性值;
步骤312,对每个体素的不确定性值进行归一化,得到体素不确定性图。
具体地,为了充分利用噪声标签中潜在的有用信息,本发明实施例使用了来自图像分类领域的置信度学习方法来表征像素级别的标签噪声,从而得到二值化的标签噪声图,这种像素级的误差图可以明确地指导后续的标签优化过程。
为了优化噪声标签,通过蒙特卡罗随机失活(dropout)方法估计教师网络的认知不确定性,来动态调整每个体素的平滑因子。首先,在dropout和高斯噪声扰动注入到输入中的情况下,在教师网络上执行T次前向传播,从而可以得到一组概率向量,然后采用预测熵来估计每个体素的不确定性,计算方法如下:
式中,表示每个体素的不确定性值,/>表示第t个体素属于第c类的预测概率。
在此基础上,对每个体素的不确定性值进行归一化,得到体素不确定性图,可表示为。
基于上述任一实施例,当前轮次的优化带噪标签基于如下公式确定:
;
式中,表示上一轮次的优化带噪标签,/>表示当前轮次的优化带噪标签,/>表示二值化的标签噪声图,/>表示体素不确定性图。
利用上述标签优化策略构建循环更新过程,在下一个训练周期用优化后的去噪标签替换上一轮的噪声标签,这样模型就可以在训练过程中逐步优化噪声标签,优化后的标签反过来促进模型的学习。
本发明实施例提供的方法,基于噪声标签循环优化的半监督脑血管分割方法。使用置信度学习方法来表征体素级别的标签噪声,使用蒙特卡罗随机失活估计体素不确定性,结合标签噪声图和不确定性图对噪声标签进行循环优化。高质量标签和优化后的噪声标签共同指导基于“学生-教师”网络的半监督模型的学习。
基于上述任一实施例,步骤250具体包括:
步骤251,基于体素不确定性图中每个体素的不确定性值,以及不确定性阈值,分别对学生第一分割损失和一致性损失进行不确定性感知指导下的更新,得到不确定性感知的学生第一分割损失和一致性损失;
步骤252,基于不确定性感知的学生第一分割损失和一致性损失,以及学生第二分割损失,对初始脑血管图像分割模型进行参数迭代,得到脑血管图像分割模型。
具体地,教师网络中的分割结果含有噪声,同时优化后的噪声标签在训练的早期仍然含有较多的噪声,这可能会使得学生网络的学生产生偏差。因此从教师网络的分割结果估计体素不确定性,通过体素不确定性图以迭代过滤不可靠预测的方式指导学生第一分割损失和一致性损失,使得学生网络能够从有意义和可靠的目标中对低质量标注数据进行学习。
在标签优化策略得到的不确定性图的指导下,过滤掉高不确定性的分割结果,并仅选择低不确定性的分割结果作为学生网络学习的目标。不确定性指导下的损失函数更新如下。
不确定性感知的学生第一分割损失可表示如下:
不确定性感知的一致性损失可表示如下:
式中,是指示函数,/>是第/>个体素处的不确定程度,/>是不确定性阈值。随着训练逐渐从/>提升到/>,/>表示最大不确定性程度,为定值。/>表示不确定性感知的一致性损失,/>表示一致性损失,/> 表示不确定性感知的学生第一分割损失,/>表示学生第一分割损失。
随着训练的继续,该方法将过滤掉越来越少的数据,使学生网络能够逐渐从不确定的目标中学习。
得到不确定性感知的学生第一分割损失和不确定性感知的一致性损失/>的基础上,本发明实施例中脑血管分割模型的模型损失函数可表示为:
其中为学生第二分割损失的权重,/>为学生第二分割损失,/>为不确定性感知的学生第一分割损失的权重,/>为不确定性感知的一致性损失的权重。通过模型损失函数对整个模型进行训练,更新学生网络和教师网络的权重,即表示一轮训练的完成。重复上述训练过程直至达到目标轮数,训练结束。
本发明实施例提供的方法,为避免噪声标签对学生网络的影响,从教师网络的分割结果估计体素不确定性,通过体素不确定性图以迭代过滤不可靠预测的方式指导低质量标注数据的分割损失和一致性损失的设计,使得学生网络能够从有意义和可靠的目标中对低质量标注数据进行学习。
基于上述任一实施例,步骤230中基于学生第二分割结果与真实标签之间的差异,确定学生第二分割损失,具体包括:
步骤231,基于学生第二分割结果与真实标签在拓扑结构上的相似度,确定拓扑保持损失函数;
步骤232,基于学生第二分割结果与真实标签在体素类别上的相似度,确定体素类别损失函数;
步骤233,基于学生第二分割结果与真实标签之间的加权豪斯多夫距离,确定加权豪斯多夫距离损失函数;
步骤234,基于拓扑保持损失函数、体素类别损失函数和加权豪斯多夫距离损失函数中的至少一种,确定学生第二分割损失。
具体地,损失函数的设计对模型的训练起着重要的作用,当前脑血管分割研究中的损失函数的设计大多数从类别不平衡方面进行考虑,未从脑血管形态特征方面对损失函数进行设计。脑血管形态复杂多变,分布广泛且稀疏,如果能够从脑血管的形态特征等特点出发设计损失函数,将更好的引导模型对血管特征进行充分的学习,可以预见,模型训练过程将更加高效,分割性能也将显著提升。
血管分割结果的连通性是评估管状结构分割效果的一个重要指标。它是其他相关任务的前提保证,例如计算血流动力学或中风建模等。本发明实施例使用了一种基于中心线dice(cldice)指标的拓扑保持损失函数,cldice指标用于表征学生第二分割结果与真实标签在拓扑结构上的相似度,。该指标利用从标签和分割结果计算得到的骨架来计算拓扑精确度和拓扑召回率,可表示如下:
;
;
其中,P和Y分别是学生第二分割结果和真实标签,S P 和S Y 分别是其对应的骨架,为了最大化拓扑精确度和拓扑召回率,cldice指标的计算方式如下:
;
此外由于血管图像前景和背景之间的严重不平衡,脑血管占所有体素的不到5%,因此采用dice损失函数缓解类不平衡问题。dice指标用于表征学生第二分割结果与真实标签在体素类别上的相似度。dice指标的计算方式如下:
;
其中,表示第/>个体素的真实标签,/>表示第/>个体素的学生第二分割结果,/>表示平滑系数。
在此基础上,cldice损失,即拓扑保持损失函数可表示为:
;
dice损失,即体素类别损失函数可表示为:
;
考虑到基于dice等基于重叠程度指标的损失函数对细长的血管敏感性较差,引入基于加权豪斯多夫距离(Weighted Hausdorff Distance,WHD)的损失函数提高对细小血管的捕捉能力。WHD的形式如下所示:
其中,;
;
上式中,p表示分割结果,Y表示标签真值,|Y|表示Y的范数。p x 是体素x的预测概率值,是平滑系数,d(x,y)是点集x和y的欧氏距离,dmax是点集中两点的最大距离。
由于WHD可视为网络的优化目标之一,因此WHD可直接作为网络的损失函数,即学生第二分割损失可表示为:
得到拓扑保持损失函数、体素类别损失函数和加权豪斯多夫距离损失函数的基础上,即可根据其中的至少一种确定学生第二分割损失。可理解的是,学生第一分割损失也可以基于上述三种损失函数中的至少一种确定。
在一个实施例中,为了保持脑血管的拓扑连通性和对细长的血管敏感性,组合dice损失函数、cldice损失函数和WHD损失函数作为分割的损失函数,如下所示:
式中,为学生第二分割损失,/>为体素类别损失函数,/>为拓扑保持损失函数,/>为加权豪斯多夫距离损失函数。
本发明实施例提供的方法,基于脑血管细长形态、空间连通、分布稀疏等特点的损失函数。考虑到脑血管的拓扑连通性,引入拓扑保持损失函数以提高分割结果的连通性与完整性。考虑到基于重叠指标的损失函数对细长的血管敏感性较差,引入基于加权豪斯多夫距离的损失函数提高对细小血管的捕捉能力。加权组合基于类别不平衡的dice损失函数、拓扑保持损失函数和加权豪斯多夫距离损失函数,以用于脑血管分割任务。
基于上述任一实施例,步骤210中获取脑血管样本图像,包括:
获取初始脑血管样本图像;
对初始脑血管样本图像进行去颅骨分割和偏置场校正,得到脑血管样本图像;
基于海森矩阵的多尺度滤波方法,对脑血管样本图像进行血管增强,得到血管增强图像;脑血管样本图像和血管增强图像用于训练初始脑血管图像分割模型。
具体地,为了进一步提高脑血管图像分割模型的性能和准确性,可对初始脑血管样本图像进行预处理和血管增强。
获取到初始脑血管样本图像之后,可使用磁共振影像分割工具BET对初始脑血管样本图像进行去颅骨操作,使用开源软件ANTs的N4BiasFieldCorrection算法对去颅骨后的血管图像进行偏置场校正,以归一化图像强度,得到脑血管样本图像。
此外,使用基于海森矩阵的多尺度滤波方法计算所有脑血管样本图像的血管增强图,得到血管增强图像。脑血管样本图像和血管增强图像同时作为初始脑血管图像分割模型的输入数据,用于模型的训练。
基于上述任一实施例,对初始脑血管图像分割模型进行参数迭代,得到脑血管图像分割模型,包括:
在每一轮参数迭代过程中,更新学生网络的权重,并通过指数移动平均更新教师网络的权重,直至完成参数迭代,得到脑血管图像分割模型。
具体地,初始脑血管图像分割模型由两个架构相同,权重不同的分割网络组成,用θ t 表示学生网络在训练步骤t的权重,指数移动平均(EMA)被应用于更新教师网络的权重θ t ',更新公式为,其中α是EMA衰减率。
在每一轮参数迭代过程中,更新学生网络的权重,并通过指数移动平均更新教师网络的权重,即表示一轮训练的完成。重复上述训练过程直至达到目标轮数,训练结束,由此得到的脑血管图像分割模型可用于三维脑血管图像的血管分割。
基于上述任一实施例,图2是本发明提供的基于半监督学习的三维脑血管分割方法的流程示意图之二,如图2所示,基于半监督学习的三维脑血管分割方法包括:
1)对第二样本图像(高质量标注数据)进行预处理以及血管增强,得到第二血管增强图;对第一样本图像(低质量标注数据)进行预处理以及血管增强,得到第一血管增强图。
2)将第二样本图像和第二血管增强图输入学生网络进行训练,高质量标注数据经过学生网络得到学生第二分割结果;
将第一样本图像和第一血管增强图输入学生网络进行训练,低质量标注数据经过学生网络得到学生第一分割结果;
将添加了噪声的第一样本图像和第一血管增强图输入教师网络进行训练,低质量标注数据经过教师网络得到教师第一分割结果。
3)基于学生第二分割结果与真实标签(高质量标签)之间的差异,计算学生第二分割损失;
基于标签优化策略,对噪声标签进行循环优化,得到优化带噪标签;并在不确定性指导下,基于学生第一分割结果与教师第一分割结果之间的差异,计算不确定性感知的一致性损失;基于学生第一分割结果与当前轮次的优化带噪标签之间的差异,确定不确定性感知的学生第一分割损失/>。
4)加权组合、/>和/>,得到模型的最终损失函数,通过训练整个模型更新学生网络的权重,并通过指数移动平均更新教师网络的权重,得到脑血管图像分割模型。
本发明利用少量的高质量标注数据和大量噪声标注数据进行联合训练,并通过标签去噪优化来迭代地扩充高质量标签数据集,从而提高脑血管分割的准确性、鲁棒性和泛化性。此外,综合考虑血管分割精度、血管拓扑完整性以及细小血管捕捉能力等指标设计损失函数,从而得到满足各种后续需求的高质量脑血管分割结果。
下面对本发明提供的基于半监督学习的三维脑血管分割装置进行描述,下文描述的基于半监督学习的三维脑血管分割装置与上文描述的基于半监督学习的三维脑血管分割方法可相互对应参照。
图3是本发明提供的基于半监督学习的三维脑血管分割装置的结构示意图,如图3所示,三维脑血管分割装置包括图像确定单元310和血管分割单元320,其中:
图像确定单元310,用于确定待分割的脑血管图像;
血管分割单元320,用于基于脑血管图像分割模型,对所述脑血管图像进行血管分割,得到血管分割结果;
所述脑血管图像分割模型的确定步骤包括:
获取脑血管样本图像,所述脑血管样本图像包括第一样本图像对应的初始带噪标签,以及第二样本图像对应的真实标签;
基于初始脑血管图像分割模型中的学生网络,分别提取所述第一样本图像的学生第一分割结果和所述第二样本图像的学生第二分割结果;
基于所述学生第一分割结果与当前轮次的优化带噪标签之间的差异,确定学生第一分割损失,并基于所述学生第二分割结果与所述真实标签之间的差异,确定学生第二分割损失;
基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像的教师第一分割结果,并基于所述学生第一分割结果与所述教师第一分割结果之间的差异,确定一致性损失;
基于所述学生第一分割损失、所述学生第二分割损失和所述一致性损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型;
所述当前轮次的优化带噪标签的确定步骤包括:
在当前轮次参数迭代过程中,基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像中每个体素的预测分类概率,并基于所述每个体素的预测分类概率得到体素不确定性图;
基于所述体素不确定性图,对上一轮次的优化带噪标签进行去噪优化,得到所述当前轮次的优化带噪标签,首轮次的优化带噪标签为所述初始带噪标签。
本发明实施例提供的装置,通过对初始噪声标签进行循环优化,高质量标签和优化后的噪声标签共同指导基于“学生-教师”网络的半监督模型的学习,可以将大量的无标注数据用于半监督模型,避免了对手工标注的依赖。此外,噪声标签循环优化充分利用了噪声标签中潜在的有用信息,能够有效提高脑血管分割的准确性。
基于上述任一实施例,还包括模型训练单元,其中,模型训练单元用于:
基于所述每个体素的预测分类概率,采用预测熵确定所述每个体素的不确定性值;
对所述每个体素的不确定性值进行归一化,得到所述体素不确定性图。
所述当前轮次的优化带噪标签基于如下公式确定:
;
式中,表示上一轮次的优化带噪标签,/>表示当前轮次的优化带噪标签,/>表示二值化的标签噪声图,/>表示体素不确定性图。
模型训练单元,还用于:
基于所述体素不确定性图中每个体素的不确定性值,以及不确定性阈值,分别对所述学生第一分割损失和所述一致性损失进行不确定性感知指导下的更新,得到不确定性感知的学生第一分割损失和一致性损失;
基于所述不确定性感知的学生第一分割损失和一致性损失,以及所述学生第二分割损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型。
模型训练单元,还用于:
基于所述学生第二分割结果与所述真实标签在拓扑结构上的相似度,确定拓扑保持损失函数;
基于所述学生第二分割结果与所述真实标签在体素类别上的相似度,确定体素类别损失函数;
基于所述学生第二分割结果与所述真实标签之间的加权豪斯多夫距离,确定加权豪斯多夫距离损失函数;
基于所述拓扑保持损失函数、所述体素类别损失函数和所述加权豪斯多夫距离损失函数中的至少一种,确定所述学生第二分割损失。
模型训练单元,还用于:
获取初始脑血管样本图像;
对所述初始脑血管样本图像进行去颅骨分割和偏置场校正,得到所述脑血管样本图像;
基于海森矩阵的多尺度滤波方法,对所述脑血管样本图像进行血管增强,得到血管增强图像;所述脑血管样本图像和所述血管增强图像用于训练所述初始脑血管图像分割模型。
模型训练单元,还用于:
在每一轮参数迭代过程中,更新所述学生网络的权重,并通过指数移动平均更新所述教师网络的权重,直至完成参数迭代,得到所述脑血管图像分割模型。
图4示例了一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行基于半监督学习的三维脑血管分割方法,该方法包括:确定待分割的脑血管图像;
基于脑血管图像分割模型,对所述脑血管图像进行血管分割,得到血管分割结果;
所述脑血管图像分割模型的确定步骤包括:
获取脑血管样本图像,所述脑血管样本图像包括第一样本图像对应的初始带噪标签,以及第二样本图像对应的真实标签;
基于初始脑血管图像分割模型中的学生网络,分别提取所述第一样本图像的学生第一分割结果和所述第二样本图像的学生第二分割结果;
基于所述学生第一分割结果与当前轮次的优化带噪标签之间的差异,确定学生第一分割损失,并基于所述学生第二分割结果与所述真实标签之间的差异,确定学生第二分割损失;
基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像的教师第一分割结果,并基于所述学生第一分割结果与所述教师第一分割结果之间的差异,确定一致性损失;
基于所述学生第一分割损失、所述学生第二分割损失和所述一致性损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型;
所述当前轮次的优化带噪标签的确定步骤包括:
在当前轮次参数迭代过程中,基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像中每个体素的预测分类概率,并基于所述每个体素的预测分类概率得到体素不确定性图;
基于所述体素不确定性图,对上一轮次的优化带噪标签进行去噪优化,得到所述当前轮次的优化带噪标签,首轮次的优化带噪标签为所述初始带噪标签。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于半监督学习的三维脑血管分割方法,该方法包括:确定待分割的脑血管图像;
基于脑血管图像分割模型,对所述脑血管图像进行血管分割,得到血管分割结果;
所述脑血管图像分割模型的确定步骤包括:
获取脑血管样本图像,所述脑血管样本图像包括第一样本图像对应的初始带噪标签,以及第二样本图像对应的真实标签;
基于初始脑血管图像分割模型中的学生网络,分别提取所述第一样本图像的学生第一分割结果和所述第二样本图像的学生第二分割结果;
基于所述学生第一分割结果与当前轮次的优化带噪标签之间的差异,确定学生第一分割损失,并基于所述学生第二分割结果与所述真实标签之间的差异,确定学生第二分割损失;
基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像的教师第一分割结果,并基于所述学生第一分割结果与所述教师第一分割结果之间的差异,确定一致性损失;
基于所述学生第一分割损失、所述学生第二分割损失和所述一致性损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型;
所述当前轮次的优化带噪标签的确定步骤包括:
在当前轮次参数迭代过程中,基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像中每个体素的预测分类概率,并基于所述每个体素的预测分类概率得到体素不确定性图;
基于所述体素不确定性图,对上一轮次的优化带噪标签进行去噪优化,得到所述当前轮次的优化带噪标签,首轮次的优化带噪标签为所述初始带噪标签。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于半监督学习的三维脑血管分割方法,该方法包括:确定待分割的脑血管图像;
基于脑血管图像分割模型,对所述脑血管图像进行血管分割,得到血管分割结果;
所述脑血管图像分割模型的确定步骤包括:
获取脑血管样本图像,所述脑血管样本图像包括第一样本图像对应的初始带噪标签,以及第二样本图像对应的真实标签;
基于初始脑血管图像分割模型中的学生网络,分别提取所述第一样本图像的学生第一分割结果和所述第二样本图像的学生第二分割结果;
基于所述学生第一分割结果与当前轮次的优化带噪标签之间的差异,确定学生第一分割损失,并基于所述学生第二分割结果与所述真实标签之间的差异,确定学生第二分割损失;
基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像的教师第一分割结果,并基于所述学生第一分割结果与所述教师第一分割结果之间的差异,确定一致性损失;
基于所述学生第一分割损失、所述学生第二分割损失和所述一致性损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型;
所述当前轮次的优化带噪标签的确定步骤包括:
在当前轮次参数迭代过程中,基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像中每个体素的预测分类概率,并基于所述每个体素的预测分类概率得到体素不确定性图;
基于所述体素不确定性图,对上一轮次的优化带噪标签进行去噪优化,得到所述当前轮次的优化带噪标签,首轮次的优化带噪标签为所述初始带噪标签。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于半监督学习的三维脑血管分割方法,其特征在于,包括:
确定待分割的脑血管图像;
基于脑血管图像分割模型,对所述脑血管图像进行血管分割,得到血管分割结果;
所述脑血管图像分割模型的确定步骤包括:
获取脑血管样本图像,所述脑血管样本图像包括第一样本图像对应的初始带噪标签,以及第二样本图像对应的真实标签;
基于初始脑血管图像分割模型中的学生网络,分别提取所述第一样本图像的学生第一分割结果和所述第二样本图像的学生第二分割结果;所述初始脑血管图像分割模型采用“学生-教师”网络作为模型的骨架网络,且“学生-教师”网络由两个架构相同,权重不同的分割网络组成,分别为学生网络和教师网络;
基于所述学生第一分割结果与当前轮次的优化带噪标签之间的差异,确定学生第一分割损失,并基于所述学生第二分割结果与所述真实标签之间的差异,确定学生第二分割损失;
基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像的教师第一分割结果,并基于所述学生第一分割结果与所述教师第一分割结果之间的差异,确定一致性损失;
基于所述学生第一分割损失、所述学生第二分割损失和所述一致性损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型;
所述当前轮次的优化带噪标签的确定步骤包括:
在当前轮次参数迭代过程中,基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像中每个体素的预测分类概率,并基于所述每个体素的预测分类概率得到体素不确定性图;
基于所述体素不确定性图,对上一轮次的优化带噪标签进行去噪优化,得到所述当前轮次的优化带噪标签,首轮次的优化带噪标签为所述初始带噪标签;
所述当前轮次的优化带噪标签基于如下公式确定:
;
式中,表示上一轮次的优化带噪标签,/>表示当前轮次的优化带噪标签,/>表示二值化的标签噪声图,/>表示体素不确定性图。
2.根据权利要求1所述的基于半监督学习的三维脑血管分割方法,其特征在于,所述基于所述每个体素的预测分类概率得到体素不确定性图,包括:
基于所述每个体素的预测分类概率,采用预测熵确定所述每个体素的不确定性值;
对所述每个体素的不确定性值进行归一化,得到所述体素不确定性图。
3.根据权利要求1所述的基于半监督学习的三维脑血管分割方法,其特征在于,所述基于所述学生第一分割损失、所述学生第二分割损失和所述一致性损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型,包括:
基于所述体素不确定性图中每个体素的不确定性值,以及不确定性阈值,分别对所述学生第一分割损失和所述一致性损失进行不确定性感知指导下的更新,得到不确定性感知的学生第一分割损失和一致性损失;
基于所述不确定性感知的学生第一分割损失和一致性损失,以及所述学生第二分割损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型。
4.根据权利要求1所述的基于半监督学习的三维脑血管分割方法,其特征在于,所述基于所述学生第二分割结果与所述真实标签之间的差异,确定学生第二分割损失,包括:
基于所述学生第二分割结果与所述真实标签在拓扑结构上的相似度,确定拓扑保持损失函数;
基于所述学生第二分割结果与所述真实标签在体素类别上的相似度,确定体素类别损失函数;
基于所述学生第二分割结果与所述真实标签之间的加权豪斯多夫距离,确定加权豪斯多夫距离损失函数;
基于所述拓扑保持损失函数、所述体素类别损失函数和所述加权豪斯多夫距离损失函数中的至少一种,确定所述学生第二分割损失。
5.根据权利要求1-4中任一项所述的基于半监督学习的三维脑血管分割方法,其特征在于,所述获取脑血管样本图像,包括:
获取初始脑血管样本图像;
对所述初始脑血管样本图像进行去颅骨分割和偏置场校正,得到所述脑血管样本图像;
基于海森矩阵的多尺度滤波方法,对所述脑血管样本图像进行血管增强,得到血管增强图像;所述脑血管样本图像和所述血管增强图像用于训练所述初始脑血管图像分割模型。
6.根据权利要求1-4中任一项所述的基于半监督学习的三维脑血管分割方法,其特征在于,所述对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型,包括:
在每一轮参数迭代过程中,更新所述学生网络的权重,并通过指数移动平均更新所述教师网络的权重,直至完成参数迭代,得到所述脑血管图像分割模型。
7.一种基于半监督学习的三维脑血管分割装置,其特征在于,包括:
图像确定单元,用于确定待分割的脑血管图像;
血管分割单元,用于基于脑血管图像分割模型,对所述脑血管图像进行血管分割,得到血管分割结果;
所述脑血管图像分割模型的确定步骤包括:
获取脑血管样本图像,所述脑血管样本图像包括第一样本图像对应的初始带噪标签,以及第二样本图像对应的真实标签;
基于初始脑血管图像分割模型中的学生网络,分别提取所述第一样本图像的学生第一分割结果和所述第二样本图像的学生第二分割结果;所述初始脑血管图像分割模型采用“学生-教师”网络作为模型的骨架网络,且“学生-教师”网络由两个架构相同,权重不同的分割网络组成,分别为学生网络和教师网络;
基于所述学生第一分割结果与当前轮次的优化带噪标签之间的差异,确定学生第一分割损失,并基于所述学生第二分割结果与所述真实标签之间的差异,确定学生第二分割损失;
基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像的教师第一分割结果,并基于所述学生第一分割结果与所述教师第一分割结果之间的差异,确定一致性损失;
基于所述学生第一分割损失、所述学生第二分割损失和所述一致性损失,对所述初始脑血管图像分割模型进行参数迭代,得到所述脑血管图像分割模型;
所述当前轮次的优化带噪标签的确定步骤包括:
在当前轮次参数迭代过程中,基于所述初始脑血管图像分割模型中的教师网络,提取所述第一样本图像中每个体素的预测分类概率,并基于所述每个体素的预测分类概率得到体素不确定性图;
基于所述体素不确定性图,对上一轮次的优化带噪标签进行去噪优化,得到所述当前轮次的优化带噪标签,首轮次的优化带噪标签为所述初始带噪标签;
所述当前轮次的优化带噪标签基于如下公式确定:
;
式中,表示上一轮次的优化带噪标签,/>表示当前轮次的优化带噪标签,/>表示二值化的标签噪声图,/>表示体素不确定性图。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述基于半监督学习的三维脑血管分割方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于半监督学习的三维脑血管分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310560177.6A CN116309571B (zh) | 2023-05-18 | 2023-05-18 | 一种基于半监督学习的三维脑血管分割方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310560177.6A CN116309571B (zh) | 2023-05-18 | 2023-05-18 | 一种基于半监督学习的三维脑血管分割方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116309571A CN116309571A (zh) | 2023-06-23 |
CN116309571B true CN116309571B (zh) | 2023-09-12 |
Family
ID=86796383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310560177.6A Active CN116309571B (zh) | 2023-05-18 | 2023-05-18 | 一种基于半监督学习的三维脑血管分割方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309571B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116934768B (zh) * | 2023-08-16 | 2024-05-10 | 中国人民解放军总医院 | 用于提高cta影像模态中血管分割精度的方法及系统 |
CN116895003B (zh) * | 2023-09-07 | 2024-01-30 | 苏州魔视智能科技有限公司 | 目标对象的分割方法、装置、计算机设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256646A (zh) * | 2021-04-13 | 2021-08-13 | 浙江工业大学 | 一种基于半监督学习的脑血管图像分割方法 |
CN113793304A (zh) * | 2021-08-23 | 2021-12-14 | 天津大学 | 一种面向肺癌靶区及危及器官智能分割方法 |
CN115546231A (zh) * | 2022-10-09 | 2022-12-30 | 中国科学院深圳先进技术研究院 | 一种基于半监督深度学习的自适应脑胶质瘤分割方法 |
CN115661467A (zh) * | 2022-12-28 | 2023-01-31 | 中国科学院自动化研究所 | 脑血管图像分割方法、装置、电子设备及存储介质 |
CN115810004A (zh) * | 2022-12-21 | 2023-03-17 | 北京大学 | 一种光学相干断层扫描脉络膜血管分层造影方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11837354B2 (en) * | 2020-12-30 | 2023-12-05 | London Health Sciences Centre Research Inc. | Contrast-agent-free medical diagnostic imaging |
-
2023
- 2023-05-18 CN CN202310560177.6A patent/CN116309571B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256646A (zh) * | 2021-04-13 | 2021-08-13 | 浙江工业大学 | 一种基于半监督学习的脑血管图像分割方法 |
CN113793304A (zh) * | 2021-08-23 | 2021-12-14 | 天津大学 | 一种面向肺癌靶区及危及器官智能分割方法 |
CN115546231A (zh) * | 2022-10-09 | 2022-12-30 | 中国科学院深圳先进技术研究院 | 一种基于半监督深度学习的自适应脑胶质瘤分割方法 |
CN115810004A (zh) * | 2022-12-21 | 2023-03-17 | 北京大学 | 一种光学相干断层扫描脉络膜血管分层造影方法 |
CN115661467A (zh) * | 2022-12-28 | 2023-01-31 | 中国科学院自动化研究所 | 脑血管图像分割方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
视觉Transformer在医学图像分析中的应用研究综述;石磊 等;计算机工程与应用;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116309571A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110689038B (zh) | 神经网络模型的训练方法、装置和医学图像处理系统 | |
US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
CN116309571B (zh) | 一种基于半监督学习的三维脑血管分割方法和装置 | |
US11854703B2 (en) | Simulating abnormalities in medical images with generative adversarial networks | |
CN108464840B (zh) | 一种乳腺肿块自动检测方法及系统 | |
CN110475505B (zh) | 利用全卷积网络的自动分割 | |
US9959615B2 (en) | System and method for automatic pulmonary embolism detection | |
CN107644420B (zh) | 基于中心线提取的血管图像分割方法、核磁共振成像系统 | |
CN112102266B (zh) | 基于注意力机制的脑梗死医学影像分类模型的训练方法 | |
Wen et al. | A novel statistical cerebrovascular segmentation algorithm with particle swarm optimization | |
CN111105424A (zh) | 淋巴结自动勾画方法及装置 | |
CN107563434B (zh) | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 | |
CN111598875A (zh) | 甲状腺结节自动检测模型构建方法、系统及装置 | |
CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
CN110782427B (zh) | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 | |
CN111612756B (zh) | 冠状动脉特异性钙化检测方法及装置 | |
CN112927799B (zh) | 融合多示例学习和多任务深度影像组学的生存期分析系统 | |
FR2942669A1 (fr) | Methodes de segmentation d'images et de detection de structures particulieres. | |
CN115719335A (zh) | 一种脑血管图像-标签两阶段生成方法、装置及存储介质 | |
CN110503636B (zh) | 参数调整方法、病灶预测方法、参数调整装置及电子设备 | |
CN116385467B (zh) | 基于自监督学习的脑血管分割方法及相关设备 | |
CN112785581A (zh) | 基于深度学习的提取训练大血管cta成像的培训方法和装置 | |
CN112862785B (zh) | Cta影像数据识别方法、装置及存储介质 | |
CN114693671A (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |