CN113256646B - 一种基于半监督学习的脑血管图像分割方法 - Google Patents

一种基于半监督学习的脑血管图像分割方法 Download PDF

Info

Publication number
CN113256646B
CN113256646B CN202110391969.6A CN202110391969A CN113256646B CN 113256646 B CN113256646 B CN 113256646B CN 202110391969 A CN202110391969 A CN 202110391969A CN 113256646 B CN113256646 B CN 113256646B
Authority
CN
China
Prior art keywords
model
network
student
segmentation
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110391969.6A
Other languages
English (en)
Other versions
CN113256646A (zh
Inventor
谢雷
冯远静
罗康
黄家浩
袁少楠
陆星州
曾庆润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110391969.6A priority Critical patent/CN113256646B/zh
Publication of CN113256646A publication Critical patent/CN113256646A/zh
Application granted granted Critical
Publication of CN113256646B publication Critical patent/CN113256646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于半监督学习的脑血管图像分割方法,通过区域连通性模型调整无标签数据一致性损失的权重,降低了教师模型(teacher model)的不可靠性和噪声效应。使学生模型(student model)在区域连通性的基础上,能更可靠地从教师模型中逐步学习。本发明解决了网络训练需要大量人工标注的困难,有效地利用了未标注的数据,分割性能上得到了较好提升。

Description

一种基于半监督学习的脑血管图像分割方法
技术领域
本发明涉及人工智能和医学图像处理领域,是一种基于半监督学习的脑血管图像分割方法。
背景技术
近年来,脑血管疾病严重威胁人类的生命健康,其已经成为神经外科中极高致死率的疾病之一。在实际临床环境中,快速精准地掌握患者脑血管的空间结构信息,对于病情诊断和治疗至关重要。现有对脑血管进行分割重建的方法可分为两类,一是传统的半自动分割方法,如阈值法、基于跟踪的方法、基于聚类的方法和基于模型的分割方法等,二是以深度学习为代表,基于人工智能的分割算法。由于深度学习在医学图像分割上性能强大,基于深度学习的医学图像分割相关研究迅速增长。
然而由于脑血管位置特殊、结构精细复杂,获取良好手工标注的训练数据需要耗费专业医生大量时间与精力,而且严重依赖于专业知识和经验,因此存在着大量主观差异。所以,获取大量标注数据开展深度学习研究来分割脑血管成本高昂,而大量未标记的数据未被得到良好的应用,不符合实际临床应用中的急迫需求。
近年,随着半监督学习在图像分类中的成功应用,在医学图像处理中利用丰富的未标注数据进行学习也得到了巨大的发展。在普通深度学习网络中,当标注的训练数据较少时模型训练容易出现过拟合,但半监督方法有效利用了未标注的数据。半监督网络训练只需要少量带有标签的样本和大量无标签的样本,通过利用未标注的数据信息,模型能够从未标注的数据中进行可靠的学习。因此在脑血管分割领域,半监督技术是一个开拓性的、有价值的发展趋势。
发明内容
现有的基于深度学习的脑血管分割方法,需要大量良好标记的数据对神经网络进行训练,然而标注数据需要耗费专业医生大量时间与精力,为了减少人工标注的工作量,充分利用未标注数据的信息,本发明提出了一种半监督学习的脑血管分割方法。
本发明在Mean-Teacher半监督网络模型的基础上,提出了一种结合区域连通性模型(Region-connectivity-based model)的半监督脑血管分割方法,本发明通过区域连通性模型(Region-connectivity-based model),对无标签数据一致性损失的权重进行约束,降低了教师模型(teacher model)的不可靠性和噪声效应,使学生模型(student model)在区域连通性的基础上,能更可靠地从教师模型中逐步学习。本方法有效利用了未标注数据,取得了良好的分割效果。
本发明解决其技术问题所采用的技术方案是:
一种基于半监督学习的脑血管图像分割方法,所述方法包括以下步骤:
步骤1数据准备,过程如下:
对数据集使用FSL中的BET工具去除颅骨,并且采取零均值化和单位方差对数据进行标准化,所采用的数据集包含两个部分,一部分由经验丰富的脑血管专家手工标注血管区域,另一部分无标注的数据集;
步骤2半监督脑血管分割网络的构建
搭建基于区域连通性模型的半监督学习网络框架,包含教师模型、学生模型以及区域连通性模型,所述教师模型和学生模型均采用U-Net作为骨干网络,学生模型和教师模型交替更新;在每一步中,学生模型通过最小化已标注数据分割损失和教师模型与学生模型分割一致性损失的加权和来学习教师模型,区域连通性模型用来控制分割损失和一致性损失的权重;
步骤3参数设置
所述步骤2中分割结果的区域连通性差异阈值为T,设置网络学习率为0.01,每1000次迭代除以10;设置batch size为4;输入2个有标注和2个无标注的数据;对教师模型和学生模型的输入添加乘性噪声和加性噪声,并在网络主干处添加两个dropout rate为0.5的Dropout层;
步骤4网络训练
采用学生模型和教师模型交替更新来进行训练,教师模型的参数由学生网络的参数经过指数移动平均值EMA计算得到,同时学生模型根据预测值与真实标签的分割损失采用梯度下降计算得到学生模型的参数;
指数移动平均值EMA的公式如下:
θ′t=αθ′t-1+(1-α)θt (4)
其中,t代表训练步骤,θ′t是当前步骤中教师模型的网络参数,θ′t-1是上个步骤中教师模型的网络参数,θt是当前步骤中学生模型的网络参数,α代表EMA衰变;
最后生成的训练样本训练该网络模型,然后将待分割MRA影像输入到构建好的网络模型,从而生成对应模态的目标分割脑血管图像。
进一步,所述的步骤2中,半监督脑血管分割网络的构建包含以下步骤:
2.1基于区域连通性的网络模块
判断单体素26个相邻点的连通性,以血管体素为种子点根据区域生长法得到不连通区域数,将学生模型与教师模型输出之间的区域连通性的差异定义为DRC,其公式如下:
其中R(.)表示获取不连通区域个数的函数,B表示批大小,f(xi;θ)和f(xi;θ′)表示学生和教师模型的输出,θ和θ′表示学生和教师模型的噪声;
2.2混合损失函数的计算
半监督分割网络的总损失函数L定义如下:
L=LS+ωLC
网络总体损失函数L由两个不同的损失函数项构成,LS代表有监督的损失函数,将交叉熵损失和Dice系数联合作为损失函数;LC代表无监督的一致性损失,采用了均方误差MSE作为损失函数;
定义T为学生网络和教师网络分割结果的区域连通性差异阈值,并采取如下方式计算权重ω:
其中,W定义如下:
如果教师模型和学生模型输出分割结果的区域连通性差异较大,表明教师模型的分割结果不可靠且有噪声;在模型刚开始训练时,一致性损失权重ω较高,随着训练的继续,学生模型能够从相对确定到不确定的输入中逐步学习,权重ω降低;当权重ω越高时,总体网络损失以一致项损失项为主,避免了网络陷入退化解,防止无法对未标记数据进行有意义的目标预测。
本发明的有益效果为:通过区域连通性调整一致性损失的权重,解决了网络训练需要大量人工标注的困难,有效地利用了未标注的数据,分割性能上得到了较好提升。
附图说明
图1为本发明实施方案的流程示意图。
图2为基于区域连通性模型的半监督学习网络框架。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施和附图,对本发明做进一步补充说明。
参照图1和图2,一种基于半监督学习的脑血管图像分割方法,能够解决了网络训练需要大量人工标注的困难,有效地利用了未标注的数。
所述基于半监督学习的脑血管图像分割方法包括以下步骤:
步骤1数据准备,过程如下:
脑血管系统在颅内体积中所占比例较小,本发明为了消除无关背景区域(非血管区域)的干扰,同时减少数据中无效区域造成的计算负担,加快模型的处理速度;本发明对数据集使用FSL中的BET工具去除颅骨,并且采取零均值化和单位方差对数据进行标准化;所采用的数据集包含两个部分,一部分由经验丰富的脑血管专家手工标注血管区域,另一部分无标注的数据集。
步骤2半监督脑血管分割网络的构建
搭建基于区域连通性模型的半监督学习网络框架,包含教师模型(teachermodel)和学生模型(student model)两个模型以及区域连通性模型,两个模型采用U-Net作为骨干网络。学生模型和教师模型交替更新;在每一步中,学生模型通过最小化已标注数据分割损失和教师模型与学生模型分割一致性损失的加权和来学习教师模型;区域连通性模型用来控制分割损失和一致性损失的权重;
进一步,所述步骤2中,半监督脑血管分割网络的构建包含以下步骤:
2.1基于区域连通性的网络模块
由于教师模型的预测结果存在噪声且不可靠,本发明提出了基于区域连通性的网络模型来确定一致性损失的权重,目的是使学生模型得到优化和更可靠的监督,进而提高教师模型的质量。
本发明判断单体素26个相邻点的连通性,以血管体素为种子点根据区域生长法得到不连通区域数。将学生模型与教师模型输出之间的区域连通性的差异定义为DRC,其公式如下:
其中R(.)表示获取不连通区域个数的函数,B表示批大小,f(xi;θ)和f(xi;θ′)表示学生和教师模型的输出,θ和θ′表示学生模型和教师模型的噪声;
2.2混合损失函数的计算
本发明半监督分割网络的总损失函数L定义如下:
L=LS+ωLC
网络总体损失函数L由两个不同的损失函数项构成,LS代表有监督的损失函数,将交叉熵损失和Dice系数联合作为损失函数;LC代表无监督的一致性损失,采用了均方误差MSE作为损失函数;
本发明定义T为学生网络和教师网络分割结果的区域连通性差异阈值,并采取如下方式计算权重ω:
其中,W定义如下:
如果教师模型和学生模型输出分割结果的区域连通性差异较大,表明教师模型的分割结果不可靠且有噪声;在模型刚开始训练时,一致性损失权重ω较高,随着训练的继续,学生模型能够从相对确定到不确定的输入中逐步学习,权重ω降低。当权重ω越高时,总体网络损失以一致项损失项为主,避免了网络陷入退化解,防止无法对未标记数据进行有意义的目标预测。
步骤3参数设置,过程如下:
本发明所述步骤2中,分割结果的区域连通性差异阈值为T,需根据多次实验选取最合适的值。同时本发明设置网络学习率为0.01,每1000次迭代除以10;设置batch size为4;输入2个有标注和2个无标注的数据。同时,本发明对教师模型和学生模型的输入添加乘性噪声和加性噪声,并在网络主干处添加两个dropout rate为0.5的Dropout层;
步骤4网络训练,过程如下:
本发明采用学生模型和教师模型交替更新来进行训练,教师网络的参数由学生网络的参数经过指数移动平均值EMA计算得到,同时学生网络根据预测值与真实标签的分割损失采用梯度下降计算得到学生网络的参数;
指数移动平均值EMA的公式如下:
θ′t=αθ′t-1+(1-α)θt (4)
其中,t代表训练步骤,θ′t是当前步骤中教师模型的网络参数,θ′t-1是上个步骤中教师模型的网络参数,θt是当前步骤中学生模型的网络参数,α代表EMA衰变;
最后生成的训练样本训练该网络模型,然后将待分割MRA影像输入到构建好的网络模型,从而生成对应模态的目标分割图像。

Claims (1)

1.一种基于半监督学习的脑血管图像分割方法,其特征在于,所述方法包括以下步骤:
步骤1数据准备,过程如下:
对数据集使用FSL中的BET工具去除颅骨,并且采取零均值化和单位方差对数据进行标准化,所采用的数据集包含两个部分,一部分由经验丰富的脑血管专家手工标注血管区域,另一部分无标注的数据集;
步骤2半监督脑血管分割网络的构建,过程如下:
搭建基于区域连通性模型的半监督学习网络框架,包含教师模型、学生模型以及区域连通性模型,所述教师模型和学生模型均采用U-Net作为骨干网络,学生模型和教师模型交替更新;在每一步中,学生模型通过最小化已标注数据分割损失和教师模型与学生模型分割一致性损失的加权和来学习教师模型,区域连通性模型用来控制分割损失和一致性损失的权重;
步骤3参数设置,过程如下:
所述步骤2中分割结果的区域连通性差异阈值为T,设置网络学习率为0.01,每1000次迭代除以10;设置batch size为4;输入2个有标注和2个无标注的数据;对教师模型和学生模型的输入添加乘性噪声和加性噪声,并在网络主干处添加两个dropout rate为0.5的Dropout层;
步骤4网络训练,过程如下:
采用学生模型和教师模型交替更新来进行训练,教师模型的参数由学生网络的参数经过指数移动平均值EMA计算得到,同时学生模型根据预测值与真实标签的分割损失采用梯度下降计算得到学生模型的参数;
指数移动平均值EMA的公式如下:
θ′t=αθ′t-1+(1-α)θt (4)
其中,t代表训练步骤,θ′t是当前步骤中教师模型的网络参数,θ′t-1是上个步骤中教师模型的网络参数,θt是当前步骤中学生模型的网络参数,α代表EMA衰变;
最后生成的训练样本训练该分割网络,然后将待分割MRA影像输入到构建好的网络模型,从而生成对应模态的目标分割脑血管图像;
所述的步骤2中,半监督脑血管分割网络的构建包含以下步骤:
2.1基于区域连通性的网络模块
判断单体素26个相邻点的连通性,以血管体素为种子点根据区域生长法得到不连通区域数,将学生模型与教师模型输出之间的区域连通性的差异定义为DRC,其公式如下:
其中R(.)表示获取不连通区域个数的函数,B表示批大小,f(xi;θ)和f(xi;θ′)表示学生和教师模型的输出,θ和θ′表示学生和教师模型的噪声;
2.2混合损失函数的计算
半监督分割网络的总损失函数L定义如下:
L=LS+ωLC
网络总体损失函数L由两个不同的损失函数项构成,LS代表有监督的损失函数,将交叉熵损失和Dice系数联合作为损失函数;LC代表无监督的一致性损失,采用了均方误差MSE作为损失函数;
定义T为学生网络和教师网络分割结果的区域连通性差异阈值,并采取如下方式计算权重ω:
其中,W定义如下:
如果教师模型和学生模型输出分割结果的区域连通性差异大,表明教师模型的分割结果不可靠且有噪声;在模型刚开始训练时,一致性损失权重ω较高,随着训练的继续,学生模型能够从相对确定到不确定的输入中逐步学习,权重ω降低;当权重ω越高时,总体网络损失以一致项损失项为主,避免了网络陷入退化解,防止无法对未标记数据进行有意义的目标预测。
CN202110391969.6A 2021-04-13 2021-04-13 一种基于半监督学习的脑血管图像分割方法 Active CN113256646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110391969.6A CN113256646B (zh) 2021-04-13 2021-04-13 一种基于半监督学习的脑血管图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110391969.6A CN113256646B (zh) 2021-04-13 2021-04-13 一种基于半监督学习的脑血管图像分割方法

Publications (2)

Publication Number Publication Date
CN113256646A CN113256646A (zh) 2021-08-13
CN113256646B true CN113256646B (zh) 2024-03-22

Family

ID=77220617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110391969.6A Active CN113256646B (zh) 2021-04-13 2021-04-13 一种基于半监督学习的脑血管图像分割方法

Country Status (1)

Country Link
CN (1) CN113256646B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705646B (zh) * 2021-08-18 2024-05-10 西安交通大学 基于半监督元学习的射频细微特征信息提取方法及系统
CN113793304A (zh) * 2021-08-23 2021-12-14 天津大学 一种面向肺癌靶区及危及器官智能分割方法
CN114332043B (zh) * 2021-12-31 2022-12-13 深圳市铱硙医疗科技有限公司 基于ct灌注影像的侧枝循环测量方法、装置、设备及介质
CN114332135B (zh) * 2022-03-10 2022-06-10 之江实验室 一种基于双模型交互学习的半监督医学图像分割方法及装置
CN114305321A (zh) * 2022-03-15 2022-04-12 汕头大学·香港中文大学联合汕头国际眼科中心 一种测量视网膜血管壁厚度的方法及系统
CN114494275B (zh) * 2022-04-15 2022-08-05 北京美摄网络科技有限公司 一种用于移动终端图像分割模型训练方法和装置
CN114882325B (zh) * 2022-07-12 2022-12-02 之江实验室 基于二阶段物体检测器的半监督物检测及训练方法、装置
CN117523327A (zh) * 2022-07-29 2024-02-06 马上消费金融股份有限公司 图像处理方法、装置、设备和介质
CN116468746B (zh) * 2023-03-27 2023-12-26 华东师范大学 一种双向复制粘贴的半监督医学图像分割方法
CN116309571B (zh) * 2023-05-18 2023-09-12 中国科学院自动化研究所 一种基于半监督学习的三维脑血管分割方法和装置
CN116740117B (zh) * 2023-06-09 2024-02-06 华东师范大学 一种基于无监督域适应的胃癌病理图像分割方法
CN117333874A (zh) * 2023-10-27 2024-01-02 江苏新希望科技有限公司 一种图像分割方法、系统、存储介质和装置
CN117197472B (zh) * 2023-11-07 2024-03-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247989B (zh) * 2017-06-15 2020-11-24 北京图森智途科技有限公司 一种实时的计算机视觉处理方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统

Also Published As

Publication number Publication date
CN113256646A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN113256646B (zh) 一种基于半监督学习的脑血管图像分割方法
CN112150478B (zh) 一种构建半监督图像分割框架的方法及系统
CN110415230B (zh) 一种基于深度学习的ct切片图像语义分割系统及方法
Levakov et al. Mapping individual differences across brain network structure to function and behavior with connectome embedding
CN110934587A (zh) 一种基于图卷积神经网络的阿尔兹海默症辅助诊断方法
CN104992189A (zh) 基于深度学习网络模型的鱼群异常行为识别方法
CN113688862B (zh) 一种基于半监督联邦学习的脑影像分类方法及终端设备
CN109583331B (zh) 基于深度学习的人手腕脉口位置精准定位方法
CN113724206B (zh) 一种基于自监督学习的眼底图像血管分割方法及系统
CN106780453A (zh) 一种基于深度信任网络实现对脑肿瘤分割的方法
CN116228639A (zh) 基于半监督多级不确定性感知的口腔全景片龋齿分割方法
CN112950631A (zh) 基于显著图约束和x光头颅定位侧位图像的年龄估计方法
CN116309571B (zh) 一种基于半监督学习的三维脑血管分割方法和装置
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
CN115861164A (zh) 一种基于多领域半监督的医学图像分割方法
CN114882048A (zh) 基于小波散射学习网络的图像分割方法和系统
CN114881105A (zh) 基于transformer模型和对比学习的睡眠分期方法及系统
CN114387282A (zh) 一种医学影像器官精准自动分割方法及系统
CN113035348A (zh) 一种基于gru特征融合的糖尿病诊断方法
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
Huo et al. Particle swarm optimization for great enhancement in semi-supervised retinal vessel segmentation with generative adversarial networks
CN115409857A (zh) 一种基于深度学习的三维脑积水ct图像分割方法
CN114677389A (zh) 一种深度半监督分割的儿童脑部mri脱髓鞘病灶定位方法
CN115546491A (zh) 一种跌倒报警方法、系统、电子设备及存储介质
CN114120035A (zh) 一种医学影像识别训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant