CN113160253A - 基于稀疏标记的三维医学图像分割方法及存储介质 - Google Patents

基于稀疏标记的三维医学图像分割方法及存储介质 Download PDF

Info

Publication number
CN113160253A
CN113160253A CN202011600804.7A CN202011600804A CN113160253A CN 113160253 A CN113160253 A CN 113160253A CN 202011600804 A CN202011600804 A CN 202011600804A CN 113160253 A CN113160253 A CN 113160253A
Authority
CN
China
Prior art keywords
image
segmentation
training
images
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011600804.7A
Other languages
English (en)
Other versions
CN113160253B (zh
Inventor
邵叶秦
王天乐
盛美红
朱丽
汤卫霞
张铭
高瞻
许昌炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202011600804.7A priority Critical patent/CN113160253B/zh
Publication of CN113160253A publication Critical patent/CN113160253A/zh
Application granted granted Critical
Publication of CN113160253B publication Critical patent/CN113160253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于稀疏标记的三维医学图像分割方法及存储介质。本发明能更好的分割三维医学图像，同时考虑冠状面、矢状面、横断面这三个切片方向的医学图像信息，丰富图像的特征，并设计包含目标分类和边缘回归的多任务深度神经网络模型，使得分类和回归两个任务相互帮助，实现准确的图像分割。另外，本发明允许医生只标记少部分医学图像的切片，就可以实现图像的准确分割，较好的解决了医学图像样本标记太少的实际问题，有效提高医学图像分割的自动化、智能化水平。

Description

基于稀疏标记的三维医学图像分割方法及存储介质
技术领域
本发明涉及基于人工智能方法实现疾病诊断领域，具体地说，涉及一 种基于稀疏标记的三维医学图像分割方法及存储介质。
背景技术
目前面向三维医学图像切面的分割方法主要以某一方向的切面为主， 来实现图像的分割。而且，目前流行的有监督深度学习方法需要每个训练 图像都有完整的标记，这些方法都需要医生手动标记图像中的每个切片。
这些面向切片的医学图像分割方法没有充分利用三维医学图像三个切 面(冠状面、矢状面、横断面)的完整信息。而且，对于三维医学图像来 说，图像标记需要有经验的医生逐个切片的勾画，费时费力。另外，为了 训练数据驱动的深度学习模型，需要逐个图像标记大量训练数据，这给基 于深度学习模型的三维医学图像分割带来了很大的挑战。
发明内容
本发明的目的在于，提供一种基于稀疏标记的三维医学图像分割方法 及存储介质，以解决目前面向切片的医学图像分割方法没有充分利用三维 医学图像三个切面(冠状面、矢状面、横断面)的完整信息，导致图像标 记需要有经验的医生逐个切片的勾画，费时费力的技术问题。
为实现上述目的，本发明提供一种基于稀疏标记的三维医学图像分割 方法，包括以下步骤：
S1、训练图像手动标记部分切片步骤，在一个三维图像集合中随机选 择一组作为训练图像，所述三维图像包含冠状面、矢状面、横断面三个不 同切片方向，每一切片方向具有多个切片；对所述训练图像中的冠状面、 矢状面、横断面的三维图像分别稀疏地手动标记一部分切片；
S2、组成训练图像集步骤，对于切片标记方向相同的图像，将具有手 动标记的所述训练图像结合相应的原始三维图像组成三个训练图像集 Tj(j＝1，2，3)，分别对应冠状面、矢状面、横断面；
S3、训练深度神经网络步骤，分别以三个不同切片方向的训练图像集 作为输入，按照监督学习的方式，为三个训练图像集Tj(j＝1，2，3)训练三个 端到端的深度神经网络Netj(j＝1，2，3)；
S4、得到分割结果步骤，将每个训练图像分别输入到Netj(j＝1，2，3)这 三个深度神经网络中，分别得到三个分割结果；
S5、分割结果加入训练图像集步骤，选择分割结果S1i和S2i中置信度都 高的可靠像素，加入到Net3的训练图像集中；选择分割结果S2i和S3i中置信 度都高的可靠像素，加入到Net1的训练图像集中；选择分割结果S1i和S3i中置信度都高的可靠像素，加入到Net2的训练图像集中；
S6、重新训练深度神经网络步骤，基于添加了可靠像素的新训练图像 集，重新训练所述深度神经网络Netj(j＝1，2，3)；
S7、算法收敛步骤，循序执行得到分割结果步骤、分割结果加入训练 图像集步骤以及重新训练深度神经网络步骤，直到算法收敛，获得训练好 的深度神经网络模型；以及
S8、得到最后分割结果步骤，基于训练好的深度神经网络模型，只用 一个切面方向的深度神经网络模型，分割三维图像，得到最后的分割结果。
根据权利要求1所述的基于稀疏标记的三维医学图像分割方法，其特 征在于，在所述训练图像手动标记部分切片步骤S1中，
在手动标记一部分切片后，所述三维图像集合被分成了被标记过的图 像集L和未被标记图像集U。
进一步地，所述被标记过的图像集L包含n个图像Li(i＝1，2，…，n)，每 个图像对应一个标记图像Qi(i＝1，2，…，n)，其中n为自然数，标记图像中的 每个像素点qi的定义为
Figure BDA0002868773640000031
所述未被标记图像集U包含m个图像Ui(i＝1，2，…，m)，其中m为自然 数。
进一步地，在所述组成训练图像集步骤S2中，所述训练图像集Tj(j＝ 1，2，3)为
Figure BDA0002868773640000032
其中，
Figure BDA0002868773640000033
表示被标记过的原始图像Li中，第j个切片方向上已被标记好的第k个切片， K为自然数，
Figure BDA0002868773640000034
是该切片对应的标记，该切片上目标区域的像素值为1， 非目标区域的像素值为0。
进一步地，在所述得到分割结果步骤S4中，所述三个分割结果分别为 S1i，S2i，S3i分别为对应冠状面、矢状面、横断面的分割结果；这些分割结 果中各自包含有相互补充的位于不同标记图像中的像素点。
进一步地，在所述重新训练深度神经网络步骤S6中，基于添加了可靠 像素的新训练图像集通过损失函数Loss3＝Lcls3+αLuncls3+βLreg3 重新训练所述深度神经网络Netj(j＝1，2，3)，其中α和β是平衡系数， Luncls3为未标记数据集的分类损失函数，Lcls3为标记数据集的分类损失 函数，Lreg3为标记数据集的回归损失函数。
进一步地，所述未标记数据集的分类损失函数Luncls3定义如下：
Luncls3＝WCE(Muncls_12i，S3i，GT3i)
其中，WCE是加权的交叉熵损失函数，其定义
Figure BDA0002868773640000035
Figure BDA0002868773640000036
S3i是第i个图像自动分割 的结果，GT3i是第i个图像对应手动分割结果；
所述Muncls_12i是一个掩码，可靠的点掩码值接近1，不可靠的点掩码 值为0；
Figure BDA0002868773640000041
其中，S1i和S2i分别是图像在Net1和Net2上的分割结果概率值，T1和T2是两个阈值，T1＜T2，μ2是平衡系数。
进一步地，所述标记数据集的分类损失函数Lcls3定义如下：
Lcls3＝WCE(Mcls_3i，S3i，GT3i)
其中，
Figure BDA0002868773640000042
其中，S3i是图像在Net3上的分割结果概率值，GT3i是图像对应的真实 分割结果，μ1是平衡系数。进一步地，所述标记数据集的回归损失函数Lreg3 定义如下：
Figure BDA0002868773640000043
其中，
Figure BDA0002868773640000044
Figure BDA0002868773640000045
pi是图像中第i个像素的坐标，cj是目标边界上第j个点的坐标，t为预设数值，otherwise表示其他。
本发明还提供一种存储介质，所述存储介质存储有多条指令，所述指 令适于处理器进行加载，以执行前文所述的基于稀疏标记的三维医学图像 分割方法中的步骤。
本发明的有益效果在于，提供一种基于稀疏标记的三维医学图像分割 方法及存储介质，能更好的分割三维医学图像，同时考虑冠状面、矢状面、 横断面这三个切片方向的医学图像信息，丰富图像的特征，并设计包含目 标分类和边缘回归的多任务深度神经网络模型，使得分类和回归两个任务 相互帮助，实现准确的图像分割。另外，本发明允许医生只标记少部分医 学图像的切片，就可以实现图像的准确分割，较好的解决了医学图像样本标记太少的实际问题，有效提高医学图像分割的自动化、智能化水平。本 发明只要手动分割部分医学图像的切片，减少医生手动分割感兴趣目标的 工作量。另外，同时考虑冠状面、矢状面、横断面这三个切片方向的医学 图像信息，充分利用三维医学图像的信息，并且通过设计包含目标分类和 边缘回归的多任务深度神经网络模型，提升医学图像分割的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述 中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅 是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动 的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中所述基于稀疏标记的三维医学图像分割方法的 流程图；
图2为本发明实施例中所述基于稀疏标记的三维医学图像分割方法的 训练过程流程图；
图3为本发明实施例中所述基于稀疏标记的三维医学图像分割方法的 测试过程流程图；
图4为本发明实施例中包含目标分类和边缘回归的端到端神经网络结 构图。
具体实施方式
以下参考说明书附图完整介绍本发明的优选实施例，使其技术内容更 加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现， 其保护范围并非仅限于文中提到的实施例。
如图1所示，本发明实施例中提供一种基于稀疏标记的三维医学图像 分割方法，包括以下步骤S1-S8。如图2所示，图2为所述基于稀疏标记的 三维医学图像分割方法的训练过程流程图。如图3所示，图3为所述基于 稀疏标记的三维医学图像分割方法的测试过程流程图。
S1、训练图像手动标记部分切片步骤，在一个三维图像集合中随机选 择一组作为训练图像，所述三维图像包含冠状面、矢状面、横断面三个不 同切片方向，每一切片方向具有多个切片；对所述训练图像中的冠状面、 矢状面、横断面的三维图像分别稀疏地手动标记一部分切片；
这样，在手动标记一部分切片后，所述三维图像集合就分成了切片被 标记过的图像集L和未被标记图像集U。
这里的切片被标记过的图像集L包含n个图像Li(i＝1，2，…，n)，每个图 像对应一个标记图像Qi(i＝1，2，…，n)，标记图像中的每个像素点qi的定义如 (1)。
Figure BDA0002868773640000061
未被标记图像集U包含m个图像Ui(i＝1，2，…，m)，其中m为自然数， 每个图像没有对应的标记图像。
这里的图像只需要手动标记一部分(随机选择所有切片的a％标记)，不 需要全部标记，而且每个图像也只需要标记几个切片，不需要每个切片都 标记完，大大减少了手动标记的工作量。
S2、组成训练图像集步骤，对于切片标记方向相同的图像，将具有手 动标记的所述训练图像结合相应的原始三维图像组成三个训练图像集 Tj(j＝1，2，3)，分别对应冠状面、矢状面、横断面。
Figure BDA0002868773640000071
其中，
Figure BDA0002868773640000072
表示被标记过的原始图像Li中，第j个切片方向上已被标记 好的第k个切片，K为自然数，
Figure BDA0002868773640000073
是该切片对应的标记，也是一个切片， 该切片上目标区域的像素值为1，非目标区域的像素值为0。
S3、训练深度神经网络步骤，分别以三个不同切片方向的训练图像集 作为输入，按照监督学习的方式，为三个训练图像集Tj(j＝1，2，3)训练三个 端到端(end-to-end)的深度神经网络Netj(j＝1，2，3)，即Net1，Net2和Net3。
这里，端到端(end-to-end)的深度神经网络采用类似Unet的结构， 输入一个三维图像切片，输出一个同样尺寸的分割结果。这些切片的分割 结果按照原来的顺序组合起来，得到三维图像的最终分割结果。
这里的Unet结构的网络，是一个包含目标分类和边缘回归的多任务深 度神经网络模型，如图4所示，图4为包含目标分类和边缘回归的端到端 神经网络结构图。
S4、得到分割结果步骤，将每个训练图像分别输入到Netj(j＝1，2，3)这 三个深度神经网络中，分别得到三个分割结果，分别为S1i，S2i，S3i，分别 为对应冠状面、矢状面、横断面的分割结果。
这里，对于每个标记/未标记的图像，输入到三个神经网络模型，得到 从不同角度(冠状面、矢状面、横断面)分割的不同结果S1i，S2i，S3i。这 些分割结果可以相互补充，有的像素点在一个结果中分割得到，有的像素 点在另一个结果中分割得到。即这些分割结果中各自包含有相互补充的位 于不同标记图像中的像素点。
S5、分割结果加入训练图像集步骤，选择分割结果S1i和S2i中置信度都 高的可靠像素，加入到Net3的训练图像集中；选择分割结果S2i和S3i中置信 度都高的可靠像素，加入到Net1的训练图像集中；选择分割结果S1i和S3i中置信度都高的可靠像素，加入到Net2的训练图像集中。
这里，分割结果中每个像素代表了这个像素属于目标的概率。概率越 接近1，越有可能是要分割的目标，越接近0，越有可能是背景。利用下面 的公式，将标记为1，0的像素作为置信度高的目标或背景像素。以S1i和S2i为例：
Figure BDA0002868773640000081
Figure BDA0002868773640000082
其中，S1i和S2i分别是图像在Net1和Net2上的分割结果概率值，th1和th2是两个预设的阈值。
这里，将
Figure BDA0002868773640000083
中标记为1和0的，是可靠像素，结合对应的原始图像， 放入Net3的训练图像集。Net1和Net2的操作类似。
S6、重新训练深度神经网络步骤，基于添加了可靠像素的新训练图像 集，重新训练所述深度神经网络Netj(j＝1，2，3)，即Net1，Net2和Net3。
这里，训练输入的是三维图像的切片，输出的是对应的分割结果切片。
三个端到端(end-to-end)的深度神经网络在计算损失函数时，对于 来自未标记数据集U的新加入的图像只考虑可靠的像素点。
基于添加了可靠像素的新训练图像集通过损失函数Loss3＝Lcls3+ αLuncls3+βLreg3重新训练所述深度神经网络Netj(j＝1，2，3)，其中α 和β是平衡系数，Luncls3为未标记数据集的分类损失函数，Lcls3为标记 数据集的分类损失函数，Lreg3为标记数据集的回归损失函数。
Muncls_12i是一个掩码，可靠的点掩码值接近1，不可靠的点掩码值为 0。
Figure BDA0002868773640000084
其中，S1i和S2i分别是图像在Net1和Net2上的分割结果概率值，T1和T2是两个阈值，T1＜T2，μ2是平衡系数。
这里，在第一次迭代的时候，Muncls_12i，Muncls_23i，Muncls_13i都为0。
所述未标记数据集的分类损失函数Luncls3定义如下：
Luncls3＝WCE(Muncls_12i，S3i，GT3i)
其中，WCE是加权的交叉熵损失函数，其定义
Figure BDA0002868773640000091
Figure BDA0002868773640000092
S3i是第i个图像自动分割 的结果，GT3i是第i个图像对应手动分割结果。
所述标记数据集的分类损失函数Lcls3定义如下：
Lcls3＝WCE(Mcls_3i，S3i，GT3i)
其中，
Figure BDA0002868773640000093
其中，S3i是图像在Net3上的分割结果概率值，GT3i是图像对应的真实 分割结果，μ1是平衡系数。
所述标记数据集的回归损失函数Lreg3定义如下：
Figure BDA0002868773640000094
其中，
Figure BDA0002868773640000095
Figure BDA0002868773640000096
pi是图像中第i个像素的坐标，cj是目标边界上第j个点的坐标，t为预设数值，otherwise表示其他。
最后，总的损失函数Loss3＝Lcls3+αLuncls3+βLreg3，α和β是 平衡系数。
S7、算法收敛步骤，转至所述得到分割结果步骤S4，循序执行得到分 割结果步骤S4、分割结果加入训练图像集步骤S5以及重新训练深度神经网 络步骤S6，直到算法收敛，获得训练好的深度神经网络模型。
这里，算法收敛是指训练图像集不变，或算法的迭代次数到了指定的 值。
S8、得到最后分割结果步骤，基于训练好的深度神经网络模型，只用 一个切面方向的深度神经网络模型，分割三维图像，得到最后的分割结果。
基于同样的发明构思，本申请还提供一种存储介质，所述存储介质存 储有多条指令，所述指令适于处理器进行加载，以执行所述基于稀疏标记 的三维图像分割方法中的步骤S1-S8。
本发明为了更好的分割三维医学图像，同时考虑冠状面、矢状面、横 断面这三个切片方向的医学图像信息，丰富图像的特征，并设计包含目标 分类和边缘回归的多任务深度神经网络模型，使得分类和回归两个任务相 互帮助，实现准确的图像分割。另外，本发明允许医生只标记少部分医学 图像的切片，就可以实现图像的准确分割，较好的解决了医学图像样本标 记太少的实际问题，有效提高医学图像分割的自动化、智能化水平。
为了更好地验证本申请实施例的有效性，还针对性地提出了验证实施 案例：在包含前列腺、直肠、膀胱等器官的313个盆腔CT图像集上，选取 80％的图像作为训练图像，20％的图像作为测试图像。在每个训练图像中随机 抽取30％的医学图像切片和对应标记切片(如图4所示)组成训练图像集， 训练图2中的模型。然后在测试图像上，使用训练好的模型测试各个图像， 衡量模型的性能。常用的性能指标:Dice相似系数(Dice SimilariyCoefficient)和平均表面距离(Average surface distance)。在前列腺、直 肠、膀胱等器官上的分割性能分别是：前例腺DSC 0.87±0.06，ASD 1.89 ±0.85mm；膀胱DSC 0.93±0.05，ASD 1.21±0.58mm；直肠DSC 0.86± 0.05，ASD 1.72±0.80mm。
经验证，本发明只要手动分割部分医学图像的切片，减少医生手动分 割感兴趣目标的工作量。另外，同时考虑冠状面、矢状面、横断面这三个 切片方向的医学图像信息，充分利用三维医学图像的信息，并且通过设计 包含目标分类和边缘回归的多任务深度神经网络模型，提升医学图像分割 的准确率。
以上所述仅是本发明的优选实施方式，使本领域的技术人员更清楚地 理解如何实践本发明，这些实施方案并不是限制本发明的范围。对于本技 术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干 改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于稀疏标记的三维医学图像分割方法，其特征在于，包括以下步骤：
S1、训练图像手动标记部分切片步骤，在一个三维图像集合中随机选择一组作为训练图像，所述三维图像包含冠状面、矢状面、横断面三个不同切片方向，每一切片方向具有多个切片；对所述训练图像中的冠状面、矢状面、横断面的三维图像分别稀疏地手动标记一部分切片；
S2、组成训练图像集步骤，对于切片标记方向相同的图像，将具有手动标记的所述训练图像结合相应的原始三维图像组成三个训练图像集Tj(j＝1，2，3)，分别对应冠状面、矢状面、横断面；
S3、训练深度神经网络步骤，分别以三个不同切片方向的训练图像集作为输入，按照监督学习的方式，为三个训练图像集Tj(j＝1，2，3)训练三个端到端的深度神经网络Netj(j＝1，2，3)；
S4、得到分割结果步骤，将每个训练图像分别输入到Netj(j＝1，2，3)这三个深度神经网络中，分别得到三个分割结果；
S5、分割结果加入训练图像集步骤，选择分割结果S1i和S2i中置信度都高的可靠像素，加入到Net3的训练图像集中；选择分割结果S2i和S3i中置信度都高的可靠像素，加入到Net1的训练图像集中；选择分割结果S1i和S3i中置信度都高的可靠像素，加入到Net2的训练图像集中；
S6、重新训练深度神经网络步骤，基于添加了可靠像素的新训练图像集，重新训练所述深度神经网络Netj(j＝1，2，3)；
S7、算法收敛步骤，循序执行得到分割结果步骤、分割结果加入训练图像集步骤以及重新训练深度神经网络步骤，直到算法收敛，获得训练好的深度神经网络模型；以及
S8、得到最后分割结果步骤，基于训练好的深度神经网络模型，只用一个切面方向的深度神经网络模型，分割三维图像，得到最后的分割结果。
2.根据权利要求1所述的基于稀疏标记的三维医学图像分割方法，其特征在于，在所述训练图像手动标记部分切片步骤S1中，
在手动标记一部分切片后，所述三维图像集合被分成了被标记过的图像集L和未被标记图像集U。
3.根据权利要求2所述的基于稀疏标记的三维医学图像分割方法，其特征在于，所述被标记过的图像集L包含n个图像Li(i＝1，2，…，n)，每个图像对应一个标记图像Qi(i＝1，2，…，n)，其中n为自然数，标记图像中的每个像素点qi的定义为
Figure FDA0002868773630000021
所述未被标记图像集U包含m个图像Ui(i＝1，2，…，m)，其中m为自然数。
4.根据权利要求1所述的基于稀疏标记的三维医学图像分割方法，其特征在于，在所述组成训练图像集步骤S2中，所述训练图像集Tj(j＝1，2，3)为
Figure FDA0002868773630000022
其中，
Figure FDA0002868773630000023
表示被标记过的原始图像Li中，第j个切片方向上已被标记好的第k个切片，K为自然数，
Figure FDA0002868773630000024
是该切片对应的标记，该切片上目标区域的像素值为1，非目标区域的像素值为0。
5.根据权利要求1所述的基于稀疏标记的三维医学图像分割方法，其特征在于，在所述得到分割结果步骤S4中，所述三个分割结果分别为S1i，S2i，S3i分别为对应冠状面、矢状面、横断面的分割结果；这些分割结果中各自包含有相互补充的位于不同标记图像中的像素点。
6.根据权利要求1所述的基于稀疏标记的三维医学图像分割方法，其特征在于，在所述重新训练深度神经网络步骤S6中，
基于添加了可靠像素的新训练图像集通过损失函数Loss3＝Lcls3+α Luncls3+βLreg3重新训练所述深度神经网络Netj(j＝1，2，3)，其中α和β是平衡系数，Luncls3为未标记数据集的分类损失函数，Lcls3为标记数据集的分类损失函数，Lreg3为标记数据集的回归损失函数。
7.根据权利要求6所述的基于稀疏标记的三维医学图像分割方法，其特征在于，
所述未标记数据集的分类损失函数Luncls3定义如下：
Luncls3＝WCE(Muncls_12i，S3i，GT3i)
其中，WCE是加权的交叉熵损失函数，其定义
Figure FDA0002868773630000031
Figure FDA0002868773630000032
S3i是第i个图像自动分割的结果，GT3i是第i个图像对应手动分割结果；
所述Muncls_12i是一个掩码，可靠的点掩码值接近1，不可靠的点掩码值为0；
Figure FDA0002868773630000033
其中，S1i和S2i分别是图像在Net1和Net2上的分割结果概率值，T1和T2是两个阈值，T1＜T2，μ2是平衡系数。
8.根据权利要求6所述的基于稀疏标记的三维医学图像分割方法，其特征在于，
所述标记数据集的分类损失函数Lcls3定义如下：
Lcls3＝WCE(Mcls_3i，S3i，GT3i)
其中，
Figure FDA0002868773630000041
其中，S3i是图像在Net3上的分割结果概率值，GT3i是图像对应的真实分割结果，μ1是平衡系数。
9.根据权利要求6所述的基于稀疏标记的三维医学图像分割方法，其特征在于，
所述标记数据集的回归损失函数Lreg3定义如下：
Figure FDA0002868773630000042
其中，
Figure FDA0002868773630000043
Figure FDA0002868773630000044
pi是图像中第i个像素的坐标，cj是目标边界上第j个点的坐标，t为预设数值，otherwise表示其他。
10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至9中任一项所述的基于稀疏标记的三维医学图像分割方法中的至少一步骤。
CN202011600804.7A 2020-12-29 2020-12-29 基于稀疏标记的三维医学图像分割方法及存储介质 Active CN113160253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011600804.7A CN113160253B (zh) 2020-12-29 2020-12-29 基于稀疏标记的三维医学图像分割方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011600804.7A CN113160253B (zh) 2020-12-29 2020-12-29 基于稀疏标记的三维医学图像分割方法及存储介质

Publications (2)

Publication Number Publication Date
CN113160253A true CN113160253A (zh) 2021-07-23
CN113160253B CN113160253B (zh) 2024-01-30

Family

ID=76878204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011600804.7A Active CN113160253B (zh) 2020-12-29 2020-12-29 基于稀疏标记的三维医学图像分割方法及存储介质

Country Status (1)

Country Link
CN (1) CN113160253B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110229005A1 (en) * 2008-12-04 2011-09-22 Koninklijke Philips Electronics N.V. Method, apparatus, and computer program product for acquiring medical image data
US20130308849A1 (en) * 2011-02-11 2013-11-21 Emory University Systems, methods and computer readable storage mediums storing instructions for 3d registration of medical images
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109872312A (zh) * 2019-02-15 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置、系统及图像分割方法
CN111062383A (zh) * 2019-11-04 2020-04-24 南通大学 一种基于图像的船舶检测深度神经网络算法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
CN111563902A (zh) * 2020-04-23 2020-08-21 华南理工大学 一种基于三维卷积神经网络的肺叶分割方法及系统
CN111738295A (zh) * 2020-05-22 2020-10-02 南通大学 图像的分割方法及存储介质
CN111915594A (zh) * 2020-08-06 2020-11-10 南通大学 基于端对端神经网络的乳腺癌病灶分割方法
CN112070752A (zh) * 2020-09-10 2020-12-11 杭州晟视科技有限公司 一种医学图像的心耳分割方法、装置及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110229005A1 (en) * 2008-12-04 2011-09-22 Koninklijke Philips Electronics N.V. Method, apparatus, and computer program product for acquiring medical image data
US20130308849A1 (en) * 2011-02-11 2013-11-21 Emory University Systems, methods and computer readable storage mediums storing instructions for 3d registration of medical images
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109872312A (zh) * 2019-02-15 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置、系统及图像分割方法
CN111062383A (zh) * 2019-11-04 2020-04-24 南通大学 一种基于图像的船舶检测深度神经网络算法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
CN111563902A (zh) * 2020-04-23 2020-08-21 华南理工大学 一种基于三维卷积神经网络的肺叶分割方法及系统
CN111738295A (zh) * 2020-05-22 2020-10-02 南通大学 图像的分割方法及存储介质
CN111915594A (zh) * 2020-08-06 2020-11-10 南通大学 基于端对端神经网络的乳腺癌病灶分割方法
CN112070752A (zh) * 2020-09-10 2020-12-11 杭州晟视科技有限公司 一种医学图像的心耳分割方法、装置及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘铭;叶宏伟: "CT图像的肝脏及肝脏肿瘤分割方法研究", 中国医学装备大会暨2019医学装备展览会 *
杨晨彬;高瞻;: "基于WebVR的医学体数据可视化", 计算机应用与软件, no. 05 *
田宝园;程怿;蔡叶华;陈可;施俊;徐树公;张麒;: "基于改进U- Net深度网络的超声正中神经图像分割", 自动化仪表, no. 08 *
黄奕晖;冯前进;: "基于三维全卷积DenseNet的脑胶质瘤MRI分割", 南方医科大学学报, no. 06 *

Also Published As

Publication number Publication date
CN113160253B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
Wickramasinghe et al. Voxel2mesh: 3d mesh model generation from volumetric data
CN110334219B (zh) 基于注意力机制融入文本语义特征的知识图谱表示学习方法
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN110110745A (zh) 基于生成对抗网络的半监督x光图像自动标注
CN108335303B (zh) 一种应用于手掌x光片的多尺度手掌骨骼分割方法
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
Zhang et al. Robust medical image segmentation from non-expert annotations with tri-network
CN110415230B (zh) 一种基于深度学习的ct切片图像语义分割系统及方法
CN107766874B (zh) 一种超声容积生物学参数的测量方法及测量系统
CN110610489B (zh) 基于注意力机制的光学喉镜图像病变区标注方法
CN112734764A (zh) 一种基于对抗网络的无监督医学图像分割方法
CN110837736B (zh) 一种基于字结构的中文医疗记录的命名实体识别方法
CN113011509B (zh) 肺部支气管的分类方法、装置、电子设备和存储介质
Wang et al. Medical matting: a new perspective on medical segmentation with uncertainty
Gama et al. Weakly supervised few-shot segmentation via meta-learning
CN112837338A (zh) 一种基于生成对抗网络的半监督医学图像分割方法
CN115861333A (zh) 基于涂鸦标注的医学图像分割模型训练方法、装置及终端
CN117174238A (zh) 基于人工智能的病理学报告自动生成方法
Wickramasinghe et al. Weakly supervised volumetric image segmentation with deformed templates
CN113160253A (zh) 基于稀疏标记的三维医学图像分割方法及存储介质
CN116469103A (zh) 一种医学图像分割数据自动标注的方法
CN115222748A (zh) 一种基于并联深度u形网络和概率密度图的多器官分割方法
CN114565762A (zh) 基于roi和分裂融合策略的弱监督肝脏肿瘤分割
CN115578400A (zh) 图像处理方法、图像分割网络的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant