CN110766694A - 一种三维医学图像的交互式分割方法 - Google Patents

一种三维医学图像的交互式分割方法 Download PDF

Info

Publication number
CN110766694A
CN110766694A CN201910903310.7A CN201910903310A CN110766694A CN 110766694 A CN110766694 A CN 110766694A CN 201910903310 A CN201910903310 A CN 201910903310A CN 110766694 A CN110766694 A CN 110766694A
Authority
CN
China
Prior art keywords
segmentation
image
network
original image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910903310.7A
Other languages
English (en)
Other versions
CN110766694B (zh
Inventor
陈莉
周伯威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910903310.7A priority Critical patent/CN110766694B/zh
Publication of CN110766694A publication Critical patent/CN110766694A/zh
Application granted granted Critical
Publication of CN110766694B publication Critical patent/CN110766694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Abstract

本发明提出一种三维医学图像的交互式分割方法，涉及数字化医疗技术领域。该方法首先获取若干三维医学图像作为原始图像并进行标注，得到该原始图像的有标注的分割训练数据作为标准分割结果；使用分割训练数据训练得到全自动图像分割网络；使用全自动图像分割网络生成原始图像对应的自动分割结果，根据自动分割结果与标准分割结果的差异，模拟生成用于训练分割编辑网络的用户交互数据；使用模拟的用户交互数据训练分割编辑网络；用户使用训练完毕的分割编辑网络与三种交互式分割工具完成对待分割图像的交互式分割。本发明可利用较少的交互次数大幅提升三维医学图像分割精度，有较高的实用价值。

Description

一种三维医学图像的交互式分割方法
技术领域
本发明涉及数字化医疗技术领域，具体涉及一种三维医学图像的交互式分割方法。
背景技术
医学图像分割是医学图像处理的重要环节，是进行测量、诊断、手术规划等操作的先行步骤。传统的医学图像分割方法包括阈值法、区域生长法、水平集法等，这些方法实现简单，但分割精度较低，难以处理肿瘤分割等复杂的分割任务。近年来，包括卷积神经网络在内的深度学习技术大幅提升了医学图像的分割精度。
卷积神经网络是一种机器学习模型，在图像处理领域有广泛的应用。其中，FCN、U-Net等网络模型可被用于解决医学图像分割问题。但现有的基于卷积神经网络的全自动分割方法仍无法达到医学临床要求的足够高的精度，需要人工地、进一步地修复分割错误。由于核磁共振成像、计算机断层扫描成像得到的医学图像具有三个空间维度，数据量极大，上述人工修复过程极为繁琐，需耗费大量时间且需要操作者具备专业知识。这为医学图像分割技术的临床应用带来了较高的成本。
近年来有少量工作使用深度学习方法实现交互式图像分割与编辑，通过用户交互提高图像分割精度，并使用深度学习方法减少用户交互所需要的工作量。但现有的基于深度学习的医学影像分割编辑方法较少，且大多未考虑医学影像分割特点，在一些特定使用场景下用户常难以编辑。此外，用户的交互编辑易使网络产生依赖，从而降低用户编辑的效率和准确度。
发明内容
本发明的目的是为克服已有技术的不足之处，提出一种三维医学图像的交互式分割方法。本发明相比于现有的全自动分割方法及分割编辑方法，可利用较少的交互次数大幅提升三维医学图像分割精度，有较高的实用价值。
本发明提出一种三维医学图像的交互式分割方法，其特征在于，包括以下步骤：
1)获取M张针对同一组织器官的同一类型三维医学图像作为原始图像，并对每张原始图像中的待分割的感兴趣区域进行标注，得到原始图像对应的有标注的分割训练数据作为该原始图像的标准分割结果；
2)利用步骤1)得到的所有分割训练数据训练一个全自动图像分割网络，得到训练完毕全自动图像分割网络；
所述全自动图像分割网络采用卷积神经网络模型，该卷积神经网络模型具有编码器-解码器结构；在训练时，全自动图像分割网络的输入为每张原始三维医学图像，输出为步骤1)得到的该原始图像对应的分割训练数据；训练完毕后，得到训练完毕的全自动的图像分割网络；
3)使用步骤2)得到的训练完毕的全自动图像分割网络生成原始图像对应的自动分割结果，根据自动分割结果与标准分割结果的差异，模拟生成用于训练分割编辑网络的用户交互数据；具体步骤如下：
3-1)将步骤1)得到的原始图像输入步骤2)训练完毕的全自动图像分割网络，得到该网络预测的输入图像对应的自动分割结果，其中，预测结果中，感兴趣区域包含的体素被标记为数值1，其余区域的体素被标记为数值0；
3-2)将每张原始图像的自动分割结果减去该原始图像对应的标准分割结果，得到该原始图像对应的分割差异体数据；在所述体数据中，数值为0的区域为正确分割区域；数值为1的区域为过分割区域；数值为-1的区域为欠分割区域；
3-3)模拟生成用于训练分割编辑网络的选择工具交互数据；
在每张原始图像对应的分割差异体数据中，数值不为0的错误分割区域组成了若干三维的连通域；首先从每张原始图像对应的分割差异体数据中的连通域中过滤掉体积小于125个体素的连通域；然后对于剩余的每个体积大于等于125个体素的连通域使用三维腐蚀操作，直至每个连通域缩小至一个核心点，将该核心点的体素选为模拟用户在该连通域点击的位置作为用于训练分割编辑网络的选择工具交互数据；
3-4)模拟生成用于训练分割编辑网络的画刷工具交互数据；
首先遍历每张原始图像对应的分割差异体数据的所有切片，选出切片上过分割区域和欠分割区域面积和最大的切片，再从该切片中找到所有过分割区域和欠分割区域中面积最大的一个连通域作为该切片最大的二维的错误分割连通域；对于此连通域，找到其中相距最远的两点，再求出该两点之间的最短路径，该最短路径即为该原始图像的模拟用户涂抹的笔触并作为用于训练分割编辑网络的画刷工具交互数据；其中，若所述最大的二维的错误分割连通域面积小于25个体素或模拟用户涂抹的笔触长度小于5个体素，则不对该原始图像生成对应笔触；
3-5)模拟生成用于训练分割编辑网络的调整工具交互数据；
使用如下计算表达式计算每张原始图像的错误分割的相对体积系数:
Figure BDA0002212514170000031
式中，Vover、Vunder与Vgt分别代表每张原始图像对应的过分割、欠分割、标准分割区域的体积；
若任意原始图像对应的k值大于0.5则将该原始图像对应的k值调整为0.5；若任意原始图像对应的k值小于-0.5则将该图像对应的k值调整为-0.5；
将所有原始图像调整后的k值作为用于训练分割编辑网络的调整工具交互数据；
4)使用步骤3)模拟得到的所有原始图像对应的交互数据训练一个分割编辑网络，得到训练完毕的分割编辑网络；具体步骤如下：
4-1)将每张原始图像模拟得到的交互数据转化为对应的附加交互编辑通道，其中三种工具的交互数据分别独立占用一个附加交互编辑通道，则对于每张原始图像生成三个附加的交互编辑通道，分别对应于选择工具、画刷工具与调整工具；
对每张原始图像对应的分割差异体数据，以选择工具交互数据标记的核心点对应的体素为中心，将中心周围距离小于等于1个体素范围内的体素均根据核心点体素设置为相同值，其余区域则设置为0，作为该原始图像的选择工具对应的通道；以画刷工具标记的笔触经过的每个体素为中心，将每个中心周围距离小于等于1个体素范围内的体素均根据中心点体素设置为相同值，其余区域则设置为，作为该原始图像的画刷工具对应的通道；对于调整工具，将原始图像的所有体素均设为调整后的该原始图像对应的k值，作为该原始图像的调整工具对应的通道；
4-2)使用三个附加交互编辑通道与原始图像共同训练分割编辑网络；
分割编辑网络选取与步骤2)中自动分割网络相同的网络结构；在训练时，分割编辑网络的输入为每张原始图像与步骤4-1)得到的该原始图像对应的三个附加交互编辑通道，输出为步骤1)中该原始图像对应的分割标注数据；训练完毕后，得到最终的分割编辑网络；
5)使用步骤4)训练完毕得到的分割编辑网络对待分割图像进行分割；具体步骤如下：
5-1)获取一张待分割图像，所述待分割图像与步骤1)获取的原始三维医学图像类型相同，且拍摄对象为同一组织器官；
5-2)使用训练完毕的分割编辑网络对待分割图像的进行分割；
将待分割图像与空的三个附加交互编辑通道输入步骤4)训练完毕的分割编辑网络，该网络输出待分割图像的分割结果。
本发明的特点及有益效果在于：
本发明利用用户的交互编辑弥补了全自动图像分割方法分割精度不足的问题。
本发明设计了三种智能的交互式图像分割工具，包括选择工具、画刷工具、调整工具，并提出了将这些交互与现有卷积神经网络模型结合的方法。对于缺少用于训练的用户交互数据的问题，本发明提出了模拟生成训练数据的方法。在分割编辑网络训练完成后，用户可使用较少的交互次数大幅提升图像分割精度，有较高的实用价值。
附图说明
图1是本发明实施例的一种三维医学图像的交互式分割方法整体流程图。
具体实施方式
本发明提出一种三维医学图像的交互式分割方法，下面结合附图和具体实施例对本发明进一步详细说明如下。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明提出一种三维医学图像的交互式分割方法，整体流程如图1所示，包括以下步骤：
1)获取至少150张针对同一组织器官的同一类型三维医学图像作为原始图像，并由医生对每张原始图像中的待分割的感兴趣区域(例如肿瘤区域)进行人工标注，得到原始图像对应的有标注的分割训练数据；
在本实施例中，通过医学图像采集设备采集到的原始三维医学图像中不包含器官或组织等解剖结构的分类标签，为使计算机能够学习这些解剖结构的分类特征，医生需人工地将感兴趣的解剖结构标注出来。具体地，医生需将每张原始图像中感兴趣区域所包含的体素标注为1，将其余背景区域标注为0，由此生成与原始图像等大的图像分割训练数据作为该原始图像的标准分割结果。这些图像分割数据可被用于训练卷积神经网络等机器学习模型。
2)利用步骤1)得到的所有分割训练数据训练一个全自动图像分割网络，得到训练完毕全自动图像分割网络；
在本实施例中，全自动图像分割网络采用卷积神经网络模型，所述卷积神经网络模型需具有编码器-解码器结构，例如FCN与U-Net等。在训练时，全自动图像分割网络的输入为每张原始三维医学图像，输出为步骤1)的该原始图像对应的分割训练数据。训练完毕后，本步骤得到训练完毕的全自动的图像分割网络可用于自动分割医学图像，该训练完毕的网络的输入为未标注的三维医学图像，输出为该网络预测得到的输入图像对应的自动分割结果(其中，网络预测结果中感兴趣区域所包含的体素标注为1，其余背景区域标注为0)。
3)使用步骤2)得到的训练完毕的全自动图像分割网络生成原始图像对应的自动分割结果，根据自动分割结果与标准分割结果的差异，模拟生成用于训练分割编辑网络的用户交互数据；具体步骤如下：
3-1)在本实施例中，步骤2)得到的全自动图像分割网络可接受未标注的原始图像作为输入，输出网络预测的该图像对应的分割结果，即，输出该图像中每一体素对应的分类标签(0和1)。
将步骤1)得到的原始图像输入步骤2)训练完毕的全自动图像分割网络，得到该网络预测的输入图像对应的自动分割结果，其中，预测结果中，感兴趣区域包含的体素被自动标记为数值1，其余区域的体素被标记为数值0。
3-2)在本实施例中，由步骤3-1)得到的自动分割结果与由医生标注的标准分割结果相比可能存在若干差异，即分割错误区域。将每张原始图像的自动分割结果减去该原始图像对应的标准分割结果，即可得到该原始图像对应的分割差异体数据。在上述分割结果相减得到的体数据中，数值为0的区域为正确分割区域；数值为1的区域为过分割区域，即全自动图像分割网络错误识别出的感兴趣区域；数值为-1的区域为欠分割区域，即全自动图像分割网络未能识别出的感兴趣区域。此差异体数据反映了全自动图像分割网络的固有分割误差，此固有误差可用于训练分割编辑网络，在编辑过程中利用用户交互指导并消除实际分割误差。
3-3)模拟生成用于训练分割编辑网络的选择工具交互数据；
在本实施例中，由步骤3-2)得到的自动分割结果与标准分割结果的差异图像反映了全自动图像分割网络的固有分割误差。用户使用选择工具时，倾向于点击一大块错误分割体的中心位置，所以可将较大的错误分割体中心作为模拟的点击位置。
在每张原始图像对应的分割差异体数据中，数值不为0的错误分割区域组成了若干三维的连通域。其中，分割边缘处微小的误差可能导致两块错误分割区域间有微小的连通，构成一个连通域，这不利于交互的模拟。对此，需对这些连通域使用三维的腐蚀操作以切断这些微小的连通点。因为用户仅会编辑大块的错误区域，所以应进一步地从每张原始图像对应的分割差异体数据中的连通域中过滤掉体积小于125个体素的连通域。然后对于剩余的每个体积大于等于125个体素的连通域，不断对每个连通域使用三维腐蚀操作，直至每个连通域缩小至一个核心点。这个核心点的体素被选为模拟用户点击在该连通域的位置作为用于训练分割编辑网络的选择工具交互数据。
3-4)模拟生成用于训练分割编辑网络的画刷工具交互数据；
在本实施例中，与选择工具类似，用户倾向于对大面积的错误分割区域使用画刷工具，绘制较长的、大致与区域形状一致的笔触。在本发明中，用户的涂抹操作均在横断面上进行，故模拟的交互也只针对该方向的截面。为了避免网络过拟合，每张图像只模拟生成至多一条笔触。
首先遍历每张原始图像对应的分割差异体数据的所有切片(每张原始图像对应的分割差异体数据由若干二维切片组合而成，切片数量根据三维体数据大小及层厚决定)，找到分割的绝对误差(即该切片上过分割区域和欠分割区域面积和)最大的切片，再从该切片中找到最大的二维的错误分割连通域(即该切片的所有过分割区域和欠分割区域中面积最大的一个连通域)。对于此连通域，找到其中相距最远的两点，再求出该两点之间的最短路径。该最短路径即为该原始图像的模拟用户涂抹的笔触并作为用于训练分割编辑网络的画刷工具交互数据。其中，若所述分割的绝对误差最大的切片对应的最大的二维的错误分割连通域面积小于25个体素，或模拟用户涂抹的笔触长度小于5个体素，则不对该原始图像生成对应笔触。欠分割与过分割区域对应的交互数值分别设置为-1与1。
3-5)模拟生成用于训练分割编辑网络的调整工具交互数据；
在本实施例中，调整工具的预期目标是智能地扩张或收缩当前的分割结果。用户应该能够根据当前欠分割或过分割的程度，给予不同程度的调整，即输入不同的数值。反过来，为了模拟用户调整的数值，我们需要量化每张原始图像对应的差异体数据中欠分割或过分割的程度。使用如下的公式计算每张原始图像的错误分割的相对体积系数:
Figure BDA0002212514170000061
式中，Vover、Vunder与Vgt分别代表每张原始图像对应的过分割、欠分割、标准分割区域的体积。当原始图像对应的体数据整体倾向于过分割时，k为正值，反之则为负值。多数自动分割结果的k值在±0.3内。为避免较高的k值对网络稳定性的影响，在训练时若任意原始图像对应的k值大于0.5则将该图像对应的k值调整为0.5，若任意原始图像对应的k值小于-0.5则将该图像对应的k值调整为-0.5。
将所有原始图像调整的k值作为用于训练分割编辑网络的调整工具交互数据；
4)使用步骤3)模拟得到的所有原始图像对应的交互数据训练一个分割编辑网络，得到训练完毕的分割编辑网络；具体步骤如下：
4-1)将模拟得到的交互数据转化为附加交互编辑通道；
在本实施例中，由步骤3)得到的模拟的用户交互数据是抽象的数学表示，无法直接输入至卷积神经网络模型。本发明将这些交互数据以一定规则转换为与原图像尺寸相同的体数据，即可作为附加的图像通道输入至卷积神经网络模型。上述三种工具的交互数据分别独立占用一个图像通道，即，对于每张原始图像，生成三个附加的交互编辑通道，分别对应于选择工具、画刷工具与调整工具。
具体地，对每张原始图像对应的分割差异体数据，以选择工具标记的核心点对应的体素为中心，将中心周围距离小于等于1个体素范围内的体素均根据核心点体素对应值划分为同类型的过分割区域或欠分割区域，分别设置为1或-1，其余区域则设置为0，作为该原始图像的选择工具对应的通道；以画刷工具标记的笔触经过的每个体素为中心，将每个中心周围距离小于等于1个体素范围内的体素均根据该体素对应值划分为同类型的属于过分割区域或欠分割区域，分别设置为1或-1，其余区域则设置为0，作为该原始图像的画刷工具对应的通道；对于调整工具，将原始图像的所有体素均设为调整后的该原始图像对应的k值，用来提示网络生成比基础结果更大或更小的分割，作为该原始图像的调整工具对应的通道。。
4-2)使用三个附加交互编辑通道与原始图像共同训练分割编辑网络；
在本实施例中，分割编辑网络应选取与步骤2)中自动分割网络相同的网络结构，以便在分割时生成与后者相似的分割误差，从而使真实的用户交互与自动模拟的交互数据分布一致。在训练时，分割编辑网络的输入为每张原始图像与步骤4-1)得到的该原始图像对应的三个附加交互编辑通道，输出为步骤1)中该原始图像对应的分割标注数据。训练完毕后，得到最终的分割编辑网络。
本步骤得到的训练完毕的分割编辑网络可接受用户的交互编辑输入，迭代地提升图像的分割精度。
5)使用步骤4)训练完毕得到的分割编辑网络与三种交互式分割工具完成对待分割图像的交互式分割。具体步骤如下：
5-1)获取一张待分割图像，所述待分割图像与步骤1)获取的原始三维医学图像类型相同，且拍摄对象为同一组织器官；
5-2)使用训练完毕的分割编辑网络对待分割图像的进行分割；
在本实施例中，向步骤4)训练完毕的分割编辑网络中输入待分割图像与空的三个附加图像通道，即可生成待分割图像的分割结果。
若用户对步骤5-2)得到的分割结果满意，则方法结束；若不满意，则用户可通过编辑三个附加图像通道对步骤5-2)的结果进行进一步调整；具体方法如下：
5-3)将步骤5-2)的分割结果作为当前分割结果；
5-4)对当前分割结果进行调整；
在本实施例中，当前分割结果与用户感兴趣区域(例如肿瘤)的实际边界可能存在差异，此时用户可使用本发明提供的三种交互式分割工具对其修复与完善。
具体地，对当前分割结果与真实分割边界差异过分割或欠分割区域中心点(中心点由用户自己决定，根据当前分割结果与真实分割边界差异的中心位置选择)，将中心点周围距离小于等于1个体素范围内的体素根据用户选择的错误分割类型(即过分割或欠分割)分别设置为1或-1，将其余体素设置为0，从而得到选择工具对应的通道；
对画刷标记的当前分割结果与真实分割边界差异区域，将与画刷轨迹(用户自己决定)距离小于等于1个体素范围内的体素设置为1或-1，将其余体素设置为0，从而得到画刷工具对应的通道；
对真实分割区域相比当前分割结果的收缩扩张程度，将所有体素均设置为用户输入的代表收缩或扩张程度的数值，从而得到调整工具对应的通道。将得到的三种交互工具对应通道与原始待分割图像一起输入步骤4)得到的分割编辑网络，生成更新后的的交互式分割结果作为新的当前分割结果。
5-5)重复步骤5-4)，直至更新后的交互式分割结果与用户感兴趣区域(例如肿瘤)的实际边界重合，得到最终的待分割图像的分割结果。
本发明的方法相比于现有的全自动分割方法，可有效解决分割精度不足的问题；相比于现有的交互分割方法，利用了卷积神经网络技术，可大幅缩短用户的编辑时间。

Claims (2)

1.一种三维医学图像的交互式分割方法，其特征在于，包括以下步骤：
1)获取M张针对同一组织器官的同一类型三维医学图像作为原始图像，并对每张原始图像中的待分割的感兴趣区域进行标注，得到原始图像对应的有标注的分割训练数据作为该原始图像的标准分割结果；
2)利用步骤1)得到的所有分割训练数据训练一个全自动图像分割网络，得到训练完毕全自动图像分割网络；
所述全自动图像分割网络采用卷积神经网络模型，该卷积神经网络模型具有编码器-解码器结构；在训练时，全自动图像分割网络的输入为每张原始三维医学图像，输出为步骤1)得到的该原始图像对应的分割训练数据；训练完毕后，得到训练完毕的全自动的图像分割网络；
3)使用步骤2)得到的训练完毕的全自动图像分割网络生成原始图像对应的自动分割结果，根据自动分割结果与标准分割结果的差异，模拟生成用于训练分割编辑网络的用户交互数据；具体步骤如下：
3-1)将步骤1)得到的原始图像输入步骤2)训练完毕的全自动图像分割网络，得到该网络预测的输入图像对应的自动分割结果，其中，预测结果中，感兴趣区域包含的体素被标记为数值1，其余区域的体素被标记为数值0；
3-2)将每张原始图像的自动分割结果减去该原始图像对应的标准分割结果，得到该原始图像对应的分割差异体数据；在所述体数据中，数值为0的区域为正确分割区域；数值为1的区域为过分割区域；数值为-1的区域为欠分割区域；
3-3)模拟生成用于训练分割编辑网络的选择工具交互数据；
在每张原始图像对应的分割差异体数据中，数值不为0的错误分割区域组成了若干三维的连通域；首先从每张原始图像对应的分割差异体数据中的连通域中过滤掉体积小于125个体素的连通域；然后对于剩余的每个体积大于等于125个体素的连通域使用三维腐蚀操作，直至每个连通域缩小至一个核心点，将该核心点的体素选为模拟用户在该连通域点击的位置作为用于训练分割编辑网络的选择工具交互数据；
3-4)模拟生成用于训练分割编辑网络的画刷工具交互数据；
首先遍历每张原始图像对应的分割差异体数据的所有切片，选出切片上过分割区域和欠分割区域面积和最大的切片，再从该切片中找到所有过分割区域和欠分割区域中面积最大的一个连通域作为该切片最大的二维的错误分割连通域；对于此连通域，找到其中相距最远的两点，再求出该两点之间的最短路径，该最短路径即为该原始图像的模拟用户涂抹的笔触并作为用于训练分割编辑网络的画刷工具交互数据；其中，若所述最大的二维的错误分割连通域面积小于25个体素或模拟用户涂抹的笔触长度小于5个体素，则不对该原始图像生成对应笔触；
3-5)模拟生成用于训练分割编辑网络的调整工具交互数据；
使用如下计算表达式计算每张原始图像的错误分割的相对体积系数:
Figure FDA0002212514160000021
式中，Vover、Vunder与Vgt分别代表每张原始图像对应的过分割、欠分割、标准分割区域的体积；
若任意原始图像对应的k值大于0.5则将该原始图像对应的k值调整为0.5；若任意原始图像对应的k值小于-0.5则将该图像对应的k值调整为-0.5；
将所有原始图像调整后的k值作为用于训练分割编辑网络的调整工具交互数据；
4)使用步骤3)模拟得到的所有原始图像对应的交互数据训练一个分割编辑网络，得到训练完毕的分割编辑网络；具体步骤如下：
4-1)将每张原始图像模拟得到的交互数据转化为对应的附加交互编辑通道，其中三种工具的交互数据分别独立占用一个附加交互编辑通道，则对于每张原始图像生成三个附加的交互编辑通道，分别对应于选择工具、画刷工具与调整工具；
对每张原始图像对应的分割差异体数据，以选择工具交互数据标记的核心点对应的体素为中心，将中心周围距离小于等于1个体素范围内的体素均根据核心点体素设置为相同值，其余区域则设置为0，作为该原始图像的选择工具对应的通道；以画刷工具标记的笔触经过的每个体素为中心，将每个中心周围距离小于等于1个体素范围内的体素均根据中心点体素设置为相同值，其余区域则设置为，作为该原始图像的画刷工具对应的通道；对于调整工具，将原始图像的所有体素均设为调整后的该原始图像对应的k值，作为该原始图像的调整工具对应的通道；
4-2)使用三个附加交互编辑通道与原始图像共同训练分割编辑网络；
分割编辑网络选取与步骤2)中自动分割网络相同的网络结构；在训练时，分割编辑网络的输入为每张原始图像与步骤4-1)得到的该原始图像对应的三个附加交互编辑通道，输出为步骤1)中该原始图像对应的分割标注数据；训练完毕后，得到最终的分割编辑网络；
5)使用步骤4)训练完毕得到的分割编辑网络对待分割图像进行分割；具体步骤如下：
5-1)获取一张待分割图像，所述待分割图像与步骤1)获取的原始三维医学图像类型相同，且拍摄对象为同一组织器官；
5-2)使用训练完毕的分割编辑网络对待分割图像的进行分割；
将待分割图像与空的三个附加交互编辑通道输入步骤4)训练完毕的分割编辑网络，该网络输出待分割图像的分割结果。
2.如权利要求1所述的方法，其特征在于，该方法还包括以下步骤：
5-3)将步骤5-2)的分割结果作为当前分割结果；
5-4)对当前分割结果进行调整；
选取当前分割结果与真实分割边界差异过分割或欠分割区域中心点，将中心点周围距离小于等于1个体素范围内的体素根据用户选择的错误分割类型进行设置，其中过分割设置为1,欠分割设置为-1，将其余体素设置为0，从而得到选择工具对应的通道；
对画刷标记的当前分割结果与真实分割边界差异区域，将与画刷轨迹距离小于等于1个体素范围内的体素设置为1或-1，将其余体素设置为0，从而得到画刷工具对应的通道；
对真实分割区域相比当前分割结果的收缩扩张程度，将所有体素均设置为用户输入的代表收缩或扩张程度的数值，从而得到调整工具对应的通道；
将三种交互工具对应通道与原始待分割图像一起输入步骤4)训练完毕的分割编辑网络，生成待分割图像更新后的的交互式分割结果作为新的当前分割结果；
5-5)重复步骤5-4)，直至更新后的交互式分割结果与用户感兴趣区域的真实分割边界重合，得到最终的待分割图像的分割结果。
CN201910903310.7A 2019-09-24 2019-09-24 一种三维医学图像的交互式分割方法 Active CN110766694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910903310.7A CN110766694B (zh) 2019-09-24 2019-09-24 一种三维医学图像的交互式分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910903310.7A CN110766694B (zh) 2019-09-24 2019-09-24 一种三维医学图像的交互式分割方法

Publications (2)

Publication Number Publication Date
CN110766694A true CN110766694A (zh) 2020-02-07
CN110766694B CN110766694B (zh) 2021-03-26

Family

ID=69329914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910903310.7A Active CN110766694B (zh) 2019-09-24 2019-09-24 一种三维医学图像的交互式分割方法

Country Status (1)

Country Link
CN (1) CN110766694B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798458A (zh) * 2020-06-15 2020-10-20 电子科技大学 一种基于不确定性引导的交互式医学图像分割方法
CN112102336A (zh) * 2020-09-16 2020-12-18 湖南大学 一种基于用户交互与深度神经网络的图像分割方法
CN112418205A (zh) * 2020-11-19 2021-02-26 上海交通大学 基于专注误分割区域的交互式图像分割方法和系统
CN114581709A (zh) * 2022-03-02 2022-06-03 深圳硅基智能科技有限公司 识别医学图像中的目标的模型训练、方法、设备及介质
CN117853507A (zh) * 2024-03-06 2024-04-09 阿里巴巴（中国）有限公司 交互式图像分割方法、设备、存储介质和程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826209A (zh) * 2010-04-29 2010-09-08 电子科技大学 一种基于Canny模型的三维医学图像分割方法
US20160328631A1 (en) * 2015-05-08 2016-11-10 Siemens Aktiengesellschaft Learning-Based Aorta Segmentation using an Adaptive Detach and Merge Algorithm
CN106709917A (zh) * 2017-01-03 2017-05-24 青岛海信医疗设备股份有限公司 神经网络模型训练方法、装置及系统
CN107784647A (zh) * 2017-09-29 2018-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
US20180322637A1 (en) * 2017-05-03 2018-11-08 Siemens Healthcare Gmbh Multi-scale deep reinforcement machine learning for n-dimensional segmentation in medical imaging
WO2019103836A1 (en) * 2017-11-21 2019-05-31 Zoox, Inc. Sensor data segmentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826209A (zh) * 2010-04-29 2010-09-08 电子科技大学 一种基于Canny模型的三维医学图像分割方法
US20160328631A1 (en) * 2015-05-08 2016-11-10 Siemens Aktiengesellschaft Learning-Based Aorta Segmentation using an Adaptive Detach and Merge Algorithm
CN106709917A (zh) * 2017-01-03 2017-05-24 青岛海信医疗设备股份有限公司 神经网络模型训练方法、装置及系统
US20180322637A1 (en) * 2017-05-03 2018-11-08 Siemens Healthcare Gmbh Multi-scale deep reinforcement machine learning for n-dimensional segmentation in medical imaging
CN107784647A (zh) * 2017-09-29 2018-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
WO2019103836A1 (en) * 2017-11-21 2019-05-31 Zoox, Inc. Sensor data segmentation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUOTAI WANG等: "Interactive Medical Image Segmentation Using Deep Learning With Image-Specific Fine Tuning", 《 IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
孙思远等: "基于二维直方图图像智能分割的体绘制传递函数设计", 《 计算机辅助设计与图形学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798458A (zh) * 2020-06-15 2020-10-20 电子科技大学 一种基于不确定性引导的交互式医学图像分割方法
CN111798458B (zh) * 2020-06-15 2022-07-29 电子科技大学 一种基于不确定性引导的交互式医学图像分割方法
CN112102336A (zh) * 2020-09-16 2020-12-18 湖南大学 一种基于用户交互与深度神经网络的图像分割方法
CN112418205A (zh) * 2020-11-19 2021-02-26 上海交通大学 基于专注误分割区域的交互式图像分割方法和系统
CN114581709A (zh) * 2022-03-02 2022-06-03 深圳硅基智能科技有限公司 识别医学图像中的目标的模型训练、方法、设备及介质
CN117853507A (zh) * 2024-03-06 2024-04-09 阿里巴巴（中国）有限公司 交互式图像分割方法、设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN110766694B (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN110766694B (zh) 一种三维医学图像的交互式分割方法
CN107622493B (zh) 用于分割医学图像中的对象的方法和数据处理单元
CN109948522B (zh) 一种基于深度神经网络的x光片手骨成熟度判读方法
CN106651750A (zh) 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统
CN109166087A (zh) 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质
CN103310449B (zh) 基于改进形状模型的肺分割方法
CN103049907B (zh) 交互式图像分割方法
CN107680110B (zh) 基于统计形状模型的内耳三维水平集分割方法
CN111798458B (zh) 一种基于不确定性引导的交互式医学图像分割方法
CN110378923A (zh) 一种智能肺部气管树分割提取和分级的方法与装置
CN106462974B (zh) 用于分割图像的参数优化
CN115345938B (zh) 基于全局到局部的头影标记点定位方法、设备及介质
CN111340209A (zh) 网络模型训练方法、图像分割方法、病灶定位方法
CN114529551A (zh) 一种面向ct图像分割的知识蒸馏方法
Ananth et al. CLG for Automatic Image Segmentation
CN116523926A (zh) 多任务骨关节ct/mri融合的组织精准分割建模方法及装置
CN111369662A (zh) Ct图像中血管的三维模型重建方法及系统
CN116168097A (zh) 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质
CN112419348B (zh) 基于多任务学习边缘校正网络的男性盆腔ct分割方法
CN115496732A (zh) 一种半监督心脏语义分割算法
CN114693981A (zh) 一种膝关节特征点自动识别方法
CN116092643A (zh) 一种基于医疗影像的交互式半自动标注方法
Zhuo et al. Local adaptive segmentation algorithm for 3-D medical image based on robust feature statistics
CN112581513B (zh) 锥束计算机断层扫描图像特征提取与对应方法
CN111986216A (zh) 一种基于神经网络改进的rsg肝脏ct图像交互式分割算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant