CN108765431B - 一种图像的分割方法及其在医学领域的应用 - Google Patents

Abstract

本发明涉及一种图像的分割方法及其在医学领域的应用，属于图像处理领域。该方法使用ROI unifying方法消除多尺度的影响以大幅增强分割效果，使用后验推理调整局部一致性以优化改善分割效果；包括训练和分割两个阶段。第一阶段完成模型准备，使用对训练数据集进行ROI unifying以生成训练数据集D，然后使用训练数据集D训练相应的机器学习模型M以供第二阶段分割时使用。第二阶段实现对未知医学图像的语义分割。本发明基于ROI unifying方法提出医学图像的分割方法。本发明允许自动或人工或人工自动相结合的方式对ROI区域的确定，在实际应用中可由医师灵活选择，增强了实用性和可解释性，可应用在医学等多个领域。

Description

一种图像的分割方法及其在医学领域的应用

技术领域

本发明属于图像处理领域，涉及一种图像的分割方法及其在医学领域的应用。

背景技术

图像分割就是把图像分成若干个特定的、具有独特性质或意义的像素集合并提出感兴趣目标的处理技术和过程。它是图像识别和计算机视觉至关重要的预处理，是由图像处理到图像分析的关键步骤，也是一个历经几十年仍没有很好解决的富有挑战的问题。目前，没有一个公认统一的方法对众多的方法进行分类，常用的分类主要分为基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法、基于机器学习以及基于特定理论的分割方法等。从是否需要人工标注数据可将分割算法分为监督方法和非监督的方法。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也可看作是一个标记过程，即把属于同一区域的像索赋予相同的编号。医学图像分割是针对医学影像/图像进行分割的处理技术和过程。医学图像分割对于临床诊断和治疗具有重要的指导作用和重大的应用价值，例如针对皮肤镜图像的色素皮损分割对黑素癌的鉴别诊断具有重要作用，视网膜病变分割是眼部疾病诊断的重要步骤，细胞分割是细胞计数的基础，肿瘤病灶分割、危及器官的分割是放疗治疗的一个关键步骤。近年来，随着深度神经网络方法的兴起及快速发展，基于深度神经网络的医学图像分割在某些领域(如皮肤癌探测、病理图像分析等)取得了较大的进展。但是，现有的基于深度神经网络的医学图像分割方法在应对多尺寸病灶(multi-size lesions)图像时效果较差，而且分割结果往往存在噪点(noisy)且一致性较差(inconsistent)，导致很难在临床上实际应用。

发明内容

有鉴于此，本发明的目的在于提供一种图像的分割方法及其在医学领域的应用，

为达到上述目的，本发明提供如下技术方案：

一种图像的分割方法，包括训练和分割两个阶段：

第一阶段完成模型准备，使用对训练数据集进行ROI unifying以生成训练数据集D，然后使用训练数据集训练相应的机器学习模型M以供第二阶段分割时使用；

第二阶段实现对未知医学图像的语义分割，共分为三个步骤：

Step1：针对输入的未知的待分割的医学图像I，首先通过自动或手动或两者结合的方式确定感兴趣区域(ROI)，然后使用ROI unifying对图像I进行处理得到统一化后(unified)的新图像I’；

Step2：使用新图像I’作为模型输入，使用第一阶段训练好的模型M进行预测，得到粗分割结果S1，粗分割结果是在全体训练集中学习到的模型参数在新图像上应用的结果；

Step3：使用后处理对粗分结果S1进行进一步精化和修正得到最终的分割结果S2。

进一步，在所述使用对训练数据集进行ROI unifying以生成训练数据集D时，使用数据增强策略，由不同参数进行ROI unifying生成的数据集可以合并为更大的数据集。

进一步，所述分割结果S1为标记图或模型输出的特征张量。

进一步，在所述步骤Step3中，使用后处理对粗分结果S1进行进一步精化和修正得到最终的分割结果S2，采用的方法为后验推理(Posteriori Inference)，是基于局部单张图像的建模基础上的推理，其作用是减少噪点和增强一致性。

进一步，所述方法能够扩展至多个模型的方式，即使用多个参数进行ROIunifying，并训练多个不同的模型，选择不同的参数以增强实用性。

进一步，所述方法能够扩展至数据增强(data augmentation)的方式，即确定一个unifying的参数范围d，在该范围内使用随机或固定选择的方式生成多个不同的参数，并使用这些参数对训练数据生成多个对应的unified图像，将这些数据集合在一起以训练一个机器学习模型以增强模型的性能，在分割阶段由用户在参数范围d内容任意选择参数对输入图像进行ROI unifiying，用于增强方法的性能和适用范围。

进一步，所述ROI unifying方法具体为：根据感兴趣区域和特定参数对输入图像进行统一化，其目标是对ROI在一定参数条件下进行缩放并将ROI平移到新的图像中间，基于仿射变换实现，仿射变换由平移变换和线性变换组成；

在一个有限维的情况下，对于一个向量，仿射函数表示为：

使用一个增广矩阵(augmented matrix)和一个增广向量(augmented vector)，仿射函数表示为：

设

则M称为仿射变换矩阵；对于二维医学图像，结合设定的统一化方法，M表示为：

然后，仿射变换转化为求取仿射变换举证M中待定参数集合P，P＝{s_x,s_y,t_xt_y}；

为了将问题转换为统一化单参数问题，设I为原始输入图像，L为I的感兴趣区域ROI，且有

另设I'为最终要得到的新图像，L'为I'中的ROI，则unifying的目标满足如下两个条件：

1)L'位于I'的正中间；

2)L'必须全部包含在I'中，

但I'不一定全等于f(I)；

满足这两个条件的参数集合P可转化为由一个参数k来控制；参数k是指在满足上述两个条件的前提下期望图像的边到ROI边的最短距离；对于w'_I＝h'_I的情况，依据k的定义和ROI，求出P中的参数如下：

最终将仿射变换的问题转换为单参数控制的统一化问题，实现对医学图像的ROI统一化。

进一步，所述后验推理为：设一个定义在变量集合{I₁,…,I_N}的随机场I，用来表示大小为N的输入图像，即特征图；设一个定义在变量集合{X₁,…,X_N}的随机场X，每个变量的定义域为标记集合

用来表示像素级的类别标记；则条件随机场(I,X)用吉布斯分布

其中g＝(v,ε)表示X上的图，并且g上的团集合C_g中的一个团(clique)c能够推导出一个势φ_c(potential)；对于一次标记

的吉布斯能量为

则随机场的最大后验标记为

在此基础上，根据条件随机场的既有推理算法和方法，实现对粗分结果的进一步改善。

本发明的有益效果在于：本发明通过提出ROI unifying方法，并基于此方法提出一种医学图像的分割方法。ROI unifying方法消除分割目标多尺寸的影响以大幅增强分割效果，使用后验推理(Posteriori Inference)减弱噪点并调整局部一致性以进一步优化改善分割效果。本方法可以允许自动或人工或人工自动相结合的方式对ROI区域的确定，也可允许选择不同的unifying参数，在实际应用中可由医师灵活选择，增强了实用性和可解释性。

本发明所述的医学图像分割方法可应用在病灶探测、病灶分割、器官勾画、临床诊断、临床治疗、数据标注、医学研究等多个方面或领域。可帮助医师、数据标注人员、卫技人员等相关人员实现快速准确的医学图像分割，从而提高工作效率，缩短时间，进而为患者提供更加快速、更加精准更加高质量的医疗保健服务。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明方法流程图；

图2为ROI unifying方法原理图；

图3为针对皮肤镜图像实施本发明的实例图；

图4为图3的实施效果图；(a)为原始的皮肤镜图像；(b)为皮肤专家手工标注的病灶区域；(c)为使用原始数据集训练的模型得到的病灶区域分割结果；(d)为(c)对应的边界合成图；(e)为使用ROI unifying后的数据集训练的模型得到的病灶区域分割结果；(f)为(e)的边界合成图；(g)为在(e)基础上使用后验推理方法精化后的病灶区域分割结果；(h)为(g)的边界合成图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明的核心思想是使用感兴趣区域统一化(ROI unifying)方法消除多尺度的影响以大幅增强分割效果，使用后验推理(Posteriori Inference)调整局部一致性以进一步优化改善分割效果。如图1所示，该方法主要包括训练和分割两个阶段。第一阶段完成模型准备，使用对训练数据集进行ROI unifying以生成训练数据集D(可使用数据增强策略，由不同参数进行ROI unifying生成的数据集可以合并为更大的数据集)，然后使用训练数据集训练相应的机器学习模型M以供第二阶段分割时使用，这里并不限定机器学习的方法，现有的可以实现语义分割的方法均可使用。第二阶段实现对未知医学图像的语义分割，共分为3个步骤，第一步，针对输入的未知的待分割的医学图像I，首先通过自动或手动或两者结合的方式确定感兴趣区域(ROI)，然后使用ROI unifying对图像I进行处理得到统一化后(unified)的新图像I’；第二步，使用新图像I’作为模型输入，使用第一阶段训练好的模型M进行预测，得到粗分割结果S1，粗分割结果既可以是标记图，也可以是模型输出的特征张量，粗分割结果是在全体训练集中学习到的模型参数在新图像上应用的结果；第三步，使用后处理对粗分结果S1进行进一步精化和修正得到最终的分割结果S2，较好的方法是后验推理(Posteriori Inference)，本步骤的推理是基于局部单张图像的建模基础上的推理，其作用是减少噪音点和增强一致性。(后处理是可选项，可以不选或改用其他方法。)

上述方法还可扩展至多个模型的方式，即使用多个参数进行ROI unifying，并训练多个不同的模型，实际应用可由医师选择不同的参数以增强实用性。

上述方法还可扩展至数据增强(data augmentation)的方式，即确定一个unifying的参数范围d，在该范围内使用随机或固定选择的方式生成多个不同的参数，并使用这些参数对训练数据生成多个对应的unified图像，将这些数据集合在一起以训练一个机器学习模型以增强模型的性能，在分割阶段可由用户在参数范围d内容任意选择参数对输入图像进行ROI unifiying，这种策略可增强方法的性能和适用范围。

如图2所示，感兴趣区域统一化(ROI unifying)是指根据感兴趣区域和特定参数对输入图像进行统一化，其目标是对ROI在一定参数条件下进行缩放并将ROI平移到新的图像中间。ROI unifying基于仿射变换实现，仿射变换由平移变换和线性变换组成。在一个有限维的情况下，对于一个向量，仿射函数f可表示为：

更进一步，使用一个增广矩阵(augmented matrix)和一个增光向量，仿射函数表示为：

设

则M称为仿射变换矩阵；对于二维医学图像，结合设定的统一化方法，M表示为：

然后，仿射变换转化为求取仿射变换举证M中待定参数集合P，P＝{s_x,s_y,t_xt_y}；

进一步，为了将问题转换为统一化单参数问题，设I为原始输入图像，L为I的感兴趣区域ROI，且有

另设I'为最终要得到的新图像，L'为I'中的ROI，则unifying的目标满足如下两个条件：

1)L'位于I'的正中间；

2)L'必须全部包含在I'中，

但I'不一定全等于f(I)；

满足这两个条件的参数集合P可转化为由一个参数k来控制；参数k是指在满足上述两个条件的前提下期望图像的边到ROI边的最短距离；对于w'_I＝h'_I的情况，依据k的定义和ROI，求出P中的参数如下：

最终将仿射变换的问题转换为单参数控制的统一化问题，实现对医学图像的ROI统一化。

图像分割问题也可看作为pixel-wise的标注问题，进而可看作是条件随机场的后验推理问题。后验推理为：设一个定义在变量集合{I₁,…,I_N}的随机场I，用来表示大小为N的输入图像，即特征图；设一个定义在变量集合{X₁,…,X_N}的随机场X，每个变量的定义域为标记集合

用来表示像素级的类别标记；则条件随机场(I,X)用吉布斯分布

其中g＝(v,ε)表示X上的图，并且g上的团集合C_g中的一个团(clique)c能够推导出一个势φ_c(potential)；对于一次标记

的吉布斯能量为

则随机场的最大后验标记为

在此基础上，根据条件随机场的既有推理算法和方法，可实现对粗分结果的进一步改善。在本发明中应用基于条件随机场的后验推理在于CRF势(CRF potential)既能最大化相似像素之间的标记一致性，又能考虑不同对象的上下文关系，从而减弱噪点并调整局部一致性以进一步优化改善分割效果。

如图3所示，以皮肤镜图像的色素皮损(PSL)分割为目标，使用手动确定ROI的方式、使用全卷积神经网络(FCNs)、使用基于全连接条件随机场(Fully Connected CRFs)的后验推理为例，展示其实施效果，实施效果如图4所示，(a)为原始的皮肤镜图像；(b)为皮肤专家手工标注的病灶区域；(c)为使用原始数据集训练的模型得到的病灶区域分割结果；(d)为(c)对应的边界合成图；(e)为使用ROI unifying后的数据集训练的模型得到的病灶区域分割结果；(f)为(e)的边界合成图；(g)为在(e)基础上使用后验推理方法精化后的病灶区域分割结果；(h)为(g)的边界合成图。

上表为在国际公开数据集ISIC2017上的实验结果，可以看出，使用本发明后的分割结果在各项评测指标上均有大幅提高，而且从视觉直观看，使用本发明分割出病灶也更符合实际情况，甚至在细节上比皮肤专家人工标注的效果还要细致。

另外，以皮肤镜图像的色素皮损(PSL)分割为目标，使用自动确定ROI的方式，自动ROI的确定可选用目前对象定位的常用技术，如Faster-RNN、SSD等各种方法。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (7)

1.一种图像的分割方法，其特征在于：该方法包括训练和分割两个阶段：

第一阶段完成模型准备，使用对训练数据集进行感兴趣区域统一化ROI unifying以生成训练数据集D，然后使用训练数据集训练相应的机器学习模型M以供第二阶段分割时使用；

第二阶段实现对未知医学图像的语义分割，共分为三个步骤：

Step1：针对输入的未知的待分割的医学图像I，首先通过自动或手动或两者结合的方式确定感兴趣区域ROI，然后使用ROI unifying对图像I进行处理得到统一化后的新图像I’；

Step2：使用新图像I’作为模型输入，使用第一阶段训练好的模型M进行预测，得到粗分割结果S1，粗分割结果是在全体训练集中学习到的模型参数在新图像上应用的结果；

Step3：使用后处理对粗分结果S1进行进一步精化和修正得到最终的分割结果S2；

根据感兴趣区域和特定参数对输入图像进行统一化，其目标是对ROI在一定参数条件下进行缩放并将ROI平移到新的图像中间，基于仿射变换实现，仿射变换由平移变换和线性变换组成；

在一个有限维的情况下，对于一个向量，仿射函数表示为：

使用一个增广矩阵和一个增广向量，仿射函数表示为：

设

则M称为仿射变换矩阵；对于二维医学图像，结合设定的统一化方法，M表示为：

然后，仿射变换转化为求取仿射变换举证M中待定参数集合P，P＝{s_x,s_y,t_xt_y}；

为了将问题转换为统一化单参数问题，设I为原始输入图像，L为I的感兴趣区域ROI，且有

另设I'为最终要得到的新图像，L'为I'中的ROI，则unifying的目标满足如下两个条件：

1)L'位于I'的正中间；

2)L'必须全部包含在I'中，

但I'不一定全等于f(I)；

满足这两个条件的参数集合P可转化为由一个参数k来控制；参数k是指在满足上述两个条件的前提下期望图像的边到ROI边的最短距离；对于w'_I＝h'_I的情况，依据k的定义和ROI，求出P中的参数如下：

最终将仿射变换的问题转换为单参数控制的统一化问题，实现对医学图像的ROI统一化。

2.根据权利要求1所述的一种图像的分割方法，其特征在于：在所述使用对训练数据集进行ROI unifying以生成训练数据集D时，使用数据增强策略，由不同参数进行ROIunifying生成的数据集可以合并为更大的数据集。

3.根据权利要求1所述的一种图像的分割方法，其特征在于：所述分割结果S1为标记图或模型输出的特征张量。

4.根据权利要求1所述的一种图像的分割方法，其特征在于：在所述步骤Step3中，使用后处理对粗分结果S1进行进一步精化和修正得到最终的分割结果S2，采用的方法为后验推理，是基于局部单张图像的建模基础上的推理，其作用是减少噪点和增强一致性。

5.根据权利要求1所述的一种图像的分割方法，其特征在于：所述方法能够扩展至多个模型的方式，即使用多个参数进行ROIunifying，并训练多个不同的模型，选择不同的参数以增强实用性。

6.根据权利要求1所述的一种图像的分割方法，其特征在于：所述方法能够扩展至数据增强的方式，即确定一个unifying的参数范围d，在该范围内使用随机或固定选择的方式生成多个不同的参数，并使用这些参数对训练数据生成多个对应的unified图像，将这些数据集合在一起以训练一个机器学习模型以增强模型的性能，在分割阶段由用户在参数范围d内容任意选择参数对输入图像进行ROIunifiying，用于增强方法的性能和适用范围。

7.根据权利要求4所述的一种图像的分割方法，其特征在于：所述后验推理为：设一个定义在变量集合{I₁,…,I_N}的随机场I，用来表示大小为N的输入图像，即特征图；设一个定义在变量集合{X₁,…,X_N}的随机场X，每个变量的定义域为标记集合

用来表示像素级的类别标记；则条件随机场(I,X)用吉布斯分布

其中g＝(v,ε)表示X上的图，并且g上的团集合C_g中的一个团c能够推导出一个势φ_c；对于一次标记

的吉布斯能量为

则随机场的最大后验标记为

在此基础上，根据条件随机场的既有推理算法和方法，实现对粗分结果的进一步改善。

Images