CN111179284A - 交互式图像分割方法、系统及终端 - Google Patents

Abstract

本发明提供了一种交互式图像分割方法、系统及终端，所述方法包括：S1,获取图像的初始分割结果；S2,根据当前图像分割结果选择至少一个错误区域，对每个错误区域的中心点进行标记，作为交互提示点；S3,计算图像上各点与每个所述交互提示点之间的距离生成提示图；S4,根据当前图像分割结果和所述提示图，利用深度增强学习全卷积神经网络调整分割概率，对当前图像分割结果进行改善，得到图像分割改善结果；S5,对所述图像分割改善结果进行评价，若满意则作为最终图像分割结果，若不满意则重新回到S2，进行迭代更新。本发明能辅助专家进行图像分割标注，减轻了专家的标注负担，提高了标注的性能和效率。

Description

交互式图像分割方法、系统及终端

技术领域

本发明涉及计算机图像分割领域，具体地，涉及一种迭代式更新的交互式图像分割方法、系统及终端。

背景技术

计算机图像分割是计算机视觉领域中一个重要任务，它的目标是对图像上的每个点标注类别标签，有效帮助计算机理解场景内容，而交互式图像分割是计算机图像分割的重要部分之一，通过结合专家提示信息，对图像分割结果进行改善，在减轻专家标注负担的同时，提高了分割标注的性能和效率。在图像理解场景中，图像分割是一个最为基本和重要的步骤，它为后续任务的准确性提供了基础的保障，如场景分析、行为决策、医疗诊断治疗等。由于图像分割需要对图像中的每个像素给予标签，数据标注的工作量非常庞大。即使借助一些现有的图像标注工具，专家仍需要对物体边界作非常细致的调整。传统的图像分割方法一般基于图像底层特征对图像进行分割。随着深度神经网络在图像处理领域的快速发展，现在较为成熟的计算机图像分割技术很多是基于深度学习的全自动分割方法。然而，利用现有的全自动分割方法，有时很难达到后续任务对分割精度的要求。对于医疗图像，由于拍摄设备、病症的多变性、低对比度等，医疗图像的分割更加困难。交互式图像分割方法通过结合专家少量提示信息对自然图像或医疗图像进行分割，既能减轻专家标注负担，又能使得分割精度得到提升，成为了研究关注的焦点。由于通常需要与专家进行多轮交互，交互式图像分割方法一般迭代式地更新优化分割结果。为了更有效地利用专家提示，迭代过程中前后分割结果之间的关联不应该被忽视，但是目前没有工作对交互式图像分割中迭代式更新过程的动态性进行探索。

专利文献CN106875400A公开了一种实现交互式图像分割的方法、装置及终端。所述方法包括：将原始图像上的涂抹轨迹作为骨架生长成标记区，生成图像分割算法的输入掩模图：将标记区中的像素作为掩模图中的前景点，将标记区外的像素作为掩模图中的背景点；根据彩色图和掩模图确定各个像素的第一分割参数，根据深度图和掩模图确定各个像素的第二分割参数，对两种分割参数进行融合；将每一个像素的融合后的分割参数映射到无向图中，运行最小割-最大流算法获得精细分割后的掩模图，从彩色图中分割出所述精细分割后的掩模图中前景点对应的图像。该方法并不能很好地探索迭代式更新的交互式图像分割任务动态性。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种迭代式更新的交互式图像分割方法、系统和终端。

根据本发明的第一方面，提供一种交互式图像分割方法，包括：

S1，获取图像的初始分割结果；

S2，根据当前图像分割结果选择至少一个错误区域，对每个错误区域的中心点进行标记，作为交互提示点；

S3，计算图像上各点与每个所述交互提示点之间的距离生成提示图；

S4，根据当前图像分割结果和所述提示图，利用深度增强学习全卷积神经网络调整分割概率，对当前图像分割结果进行改善，得到图像分割改善结果；

S5，对所述图像分割改善结果进行评价，若满意则作为最终图像分割结果，若不满意则重新回到S2，进行迭代更新。

可选地，所述获取图像的初始分割结果，包括：

根据数据集信息选择初始图像分割算法；

在数据集上对初始图像分割算法进行训练得到初始分割模型，通过用训练后的初始分割模型作分割预测，获得图像的初始分割结果。

可选地，根据当前图像分割结果选择至少一个错误区域，包括：

根据当前图像分割结果，选出当前分割结果中数个预测错误的连通区域，得到预测的错误区域。

可选地，计算图像上各点与每个所述交互提示点之间的距离生成提示图，包括：

计算图像上每个点与每个提示点之间的距离；

根据得到的每个点与每个提示点之间的距离，对提示图上每个点取与所有提示点距离的最小值。

可选地，所述提示图的值运算为：

其中，x_i表示图像上一个点，h(x_i)表示提示图上x_i对应的值，C表示提示点集合，x_j表示提示点集合中一个点，Dist(x_i，x_j)表示点x_i与点x_j之间点距离。

可选地，所述利用深度增强学习全卷积神经网络调整分割概率，对当前分割结果进行改善，包括：

拼接待分割的图像、当前分割结果和提示图这三种信息，作为网络输入信息；

利用全卷积神经网络对所述网络输入信息进行特征提取，获取输入的高层语义特征信息；

根据输入的高层语义特征信息，利用深度增强学习算法预测对当前分割概率的调整方向和尺度，实现对当前分割结果的改善。

可选地，所述利用深度增强学习算法预测对当前分割概率的调整方向和尺度，具体为：

p_t+1(x_i)＝p_t(x_i)+a_t(x_i)；

其中，x_i表示图像上一个点，p_t(x_i)表示点x_i当前的分割概率，a_t(x_i)表示点x_i当前分割概率的调整方向和尺度，p_t+1(x_i)表示点x_i改善后的分割概率。

可选地，根据当前分割改善结果，深度增强学习算法收到一个反馈信号来说明其改善行为的好坏，其中反馈函数为：

r_t+1(x_i)＝Perf(p_t+1(x_i))-Perf(p_t(x_i))；

其中，Perf(p_t(x_i))是点x_i当前分割概率的准确度，Perf(p_t+1(x_i))是点x_i改善后分割概率的准确度，r_t+1(x_i)是点x_i改善后的反馈值，当准确度有提升时反馈值为正。

根据本发明的第二方面，提供一种交互式图像分割系统，包括：

初始分割模块，获取图像的初始分割结果；

交互模块，根据当前图像分割结果选择至少一个错误区域，对每个错误区域的中心点进行标记，作为交互提示点；

提示图生成模块，计算图像上各点与每个所述交互提示点之间的距离生成提示图；

改善结果生成模块，根据当前图像分割结果和所述提示图，利用深度增强学习全卷积神经网络调整分割概率，对当前图像分割结果进行改善，得到图像分割改善结果；

最终分割结果获取模块，对所述图像分割改善结果进行评价，若满意则作为最终图像分割结果，若不满意则重新回到交互模块，进行迭代更新。

根据本发明的第三方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述交互式图像分割方法。

本发明能够有效利用交互信息并结合神经网络本身的学习能力，通过提示图生成扩散提示点的影响范围，利用深度增强学习算法的反馈延迟性，充分考虑前后分割结果之间的关联，有效挖掘交互式图像分割中迭代式更新过程的动态性，实现对图像分割的辅助标注，减轻了图像分割的标注负担，提高了标注的性能和效率。

与现有技术相比，本发明具有如下至少一种有益效果：

1、本发明通过利用深度增强学习算法的反馈延时性，充分考虑了前后分割结果之间的关联，从而有效挖掘了交互式图像分割中迭代式更新过程的动态性。

2、本发明使用卷积神经网络作为骨干网络，同时提取图像、当前分割结果和提示图的高层语义特征，将当前分割概率作为输入保留了丰富的分割结果信息并避免了分割结果的振荡现象，通过对当前分割概率作多尺度的调整，使得分割结果更加细致和精确。

3、本发明能够有效提升交互式图像标注的性能，并且加速了分割的效率，极大程度上减少了图像分割的标注负担。

4、本发明进一步通过相对性能提升的反馈函数设计，提高了探索效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例的交互式图像分割方法流程图；

图2为本发明一实施例的交互式图像分割系统框图；

图3为本发明另一较优实施例中交互式图像分割方法流程图；

图4为本发明一较优实施例中的提示点对三维分割改善的作用示意图；

图5为本发明一较优实施例中的迭代5轮的分割改善过程示意图；

图6为本发明一较优实施例中方法效果与其他现有方法的效果比较图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明一实施例的交互式图像分割方法流程图。

参照图1所示，该实施例的交互式图像分割方法，包括：

S1，初始分割结果获取步骤：根据选定的初始分割算法，用训练后的初始分割模型作分割预测，获取图像的初始分割结果；

S2，交互步骤：根据当前分割结果预测错误的区域，对每个错误区域的中心点进行标记，获取对应的交互提示点；

S3，提示图生成步骤：根据交互提示点，计算图像上各点与每个交互提示点之间的距离，获取提示图；

S4，分割改善结果生成步骤：根据当前分割结果和提示图，利用深度增强学习全卷积神经网络调整分割概率，对当前图像分割结果进行改善，得到图像分割改善结果；

S5，最终分割结果获取步骤：对分割改善结果进行评价，若满意则获取将其作为最终分割结果，若不满意则重新回到专家交互步骤，进行迭代更新。

在一优选实施例中，上述S1，初始分割结果获取步骤可以包括：

初始分割算法选定步骤：根据数据集，选择图像分割算法，获取初始分割算法；初始分割算法可以是任意一个现有的分割算法；

初始分割结果存储步骤：根据选定的初始分割算法，在数据集上对初始分割算法进行训练，通过用训练后的初始分割模型作分割预测，得到初始分割结果并存储图像的初始分割结果。

在一优选实施例中，上述S2，交互步骤包括：

预测错误区域选取步骤：根据当前分割结果，选出当前分割结果中数个预测错误的连通区域，获取预测错误区域；

提示点获取步骤：根据预测错误区域，对选出的所有错误区域的中心点进行标记，得到提示点。

上述实施例中，得到错误连通区域的方法可以是：先找到所有被预测错误的点，然后把彼此互相连通的错误预测点的集合作为一个错误连通区域。直观地来说，一个错误连通区域就是一个连通的被预测错误的区域。

上述的交互步骤中，对选出的所有错误区域的中心点进行标记可以通过专家系统进行交互，由专家进行标记。

在一优选实施例中，上述S3，提示图生成步骤包括：

与提示点距离计算步骤：根据提示点，计算图像上每个点与每个提示点之间的距离，获取与提示点距离；

提示图计算步骤：根据与提示点距离，对提示图上每个点取与所有提示点距离的最小值，可以将提示图的值运算写作：

其中，x_i表示图像上一个点，h(x_i)表示提示图上x_i对应的值，C表示提示点集合，x_j表示提示点集合中一个点，Dist(x_i，x_j)表示点x_i与点x_j之间点距离。

在一优选实施例中，上述S4，分割改善结果生成步骤包括：

网络输入准备步骤：根据待分割的图像、当前分割结果和提示图信息，通过拼接这三种信息作为网络输入，获取网络输入信息；

特征提取步骤：根据网络输入信息，利用全卷积神经网络对其进行特征提取，获取输入的高层语义特征信息；本步骤中的特征提取是网络对输入自动提取的特征，一般来说网络可以同时提取低层特征和高层特征；

分割结果调整步骤：根据输入的高层语义特征信息，利用深度增强学习算法，预测对当前分割概率的调整方向和尺度，实现对当前分割结果的改善。

具体的，在一实施例中，分割结果调整步骤的调整方案可以采用以下方式：

p_t+1(x_i)＝p_t(x_i)+a_t(x_i)；

其中，x_i表示图像上一个点，p_t(x_i)表示点x_i当前的分割概率，a_t(x_i)表示点x_i当前分割概率的调整方向和尺度，p_t+1(x_i)表示点x_i改善后的分割概率；获取分割改善结果。进一步的，S4中还可以包括模型反馈步骤：根据分割改善结果，深度增强学习算法中模型将收到一个相对性能提升的反馈信号来说明其改善行为的好坏。具体的，在一实施例中，反馈函数可以为：

r_t+1(x_i)＝Perf(p_t+1(x_i))-Perf(p_t(x_i))；

其中，Perf(p_t(x_i))是点x_i当前分割概率的准确度，Perf(p_t+1(x_i))是点x_i改善后分割概率的准确度，r_t+1(x_i)是点x_i改善后的反馈值，当准确度有提升时反馈值为正。

在一优选实施例中，上述S5，最终分割结果获取步骤包括：

根据分割改善结果，对其作出满意与否的评价，得到评价结果；

根据评价结果，若对分割改善结果满意，则输出最终分割结果，获取最终分割结果；若对分割改善结果不满意，则重新回到上述S2交互步骤，再次获取新的分割改善结果，进行新一轮的迭代。

上述最终分割结果获取步骤中，对于分割改善结果的评价，可以通过专家系统进行，由专家给出满意与否的评价结果。当然，在其他实施例中，也可以采用其他方式进行。一般来说，专家系统主要完成两部分工作：给出错误提示点；评价分割改善结果。相对于现有技术中专家需要对图像的每个像素进行标注，而本发明中专家只需要提供数个交互提示点即可完成分割标注，可以辅助专家进行标注，提高了标注的性能和效率。

图2为本发明一实施例的交互式图像分割系统框图。

如图2所示，该实施例中的交互式图像分割系统，包括：初始分割模块、交互模块、提示图生成模块、改善结果生成模块、最终分割结果获取模块，其中：初始分割模块获取图像的初始分割结果；交互模块根据当前图像分割结果选择至少一个错误区域，对每个错误区域的中心点进行标记，作为交互提示点；提示图生成模块计算图像上各点与每个交互提示点之间的距离生成提示图；改善结果生成模块根据当前图像分割结果和提示图，利用深度增强学习全卷积神经网络调整分割概率，对当前图像分割结果进行改善，得到图像分割改善结果；最终分割结果获取模块对图像分割改善结果进行评价，若满意则作为最终图像分割结果，若不满意则重新回到交互模块，进行迭代更新。

本发明上述实施例中的交互式图像分割系统的各个模块，其具体实现的技术可以采用上述交互式图像分割方法中各步骤对应的技术，在此不再赘述。

图3为本发明另一较优实施例中交互式图像分割方法流程图。在医疗图像领域，本发明实施例中的交互式图像分割方法可以对三维脑部肿瘤MRI进行交互式分割。

具体的，对三维脑部肿瘤MRI进行交互式分割，包括如下步骤：

1、初始分割结果获取：

选择初始分割算法V-Net，并用训练后的模型对图像进行分割获得初始的脑部肿瘤分割结果，存储图像的初始分割结果；当然，在其他实施例中，也可以根据情况选择其他的图像分割算法，并不仅限于V-Net。

2、交互：

根据预测错误的区域，专家(专家系统)选出5个体积最大的错误区域，并对其中心进行标记给出交互提示点；当然，在其他实施例中也可以选择其他数量的错误区域。

如图4所示，为本实施例中的提示点对三维分割改善的作用示意图，图中，八角星为专家提示点。

3、提示图生成：

根据交互提示点，计算三维脑部肿瘤MRI图像上各点与提示点之间的测地距离后；当然，在其他实施例中也可以选择其他距离计算方式；根据提示点的类别是物体或背景，分别得到物体和背景的提示图。提示图的值运算写作：

其中，x_i表示图像上一个点，h(x_i)表示提示图上x_i对应的值，C表示专家提示点集合，x_j表示专家提示点集合中一个点，Dist(x_i，x_j)表示点x_i与点x_j之间点距离。

4、分割改善结果生成：

根据提示图和当前脑部肿瘤分割结果，利用深度增强学习全卷积神经网络同时提取低层和高层特征，预测对当前分割概率的调整方向和尺度，即对每个体素作为脑部肿瘤的概率的调整，获取分割改善结果。

具体的，利用深度增强学习算法，预测对当前分割概率的调整方向和尺度，实现对当前分割结果的改善，调整方案具体可写作：

p_t+1(x_i)＝p_t(x_i)+a_t(x_i)；

其中，x_i表示图像上一个点，p_t(x_i)表示点x_i当前的分割概率，a_t(x_i)表示点x_i当前分割概率的调整方向和尺度，p_t+1(x_i)表示点x_i改善后的分割概率。

进一步的，深度增强学习算法将收到一个相对性能提升的反馈信号来说明其改善行为的好坏，具体的反馈函数可写作：

r_t+1(x_i)＝Perf(p_t+1(x_i))-Perf(p_t(x_i))；

其中，Perf(p_t(x_i))是点x_i当前分割概率的准确度，Perf(p_t+1(x_i))是点x_i改善后分割概率的准确度，r_t+1(x_i)是点x_i改善后的反馈值，当准确度有提升时反馈值为正。

5、最终分割结果获取：

对于改善后的脑部肿瘤分割结果，通过专家(专家系统)作出满意与否的评价，若对分割改善结果满意，则输出最终的脑部肿瘤分割结果；若对分割改善结果不满意，则重新回到上述给提示点的交互步骤，进行迭代更新。本实施例中进行了5轮迭代。

参照图5所示，为本实施例中迭代5轮的分割改善过程示意图。对于迭代改善5轮后的性能，本实施例的Dice值达到88.53。

参照图6所示，为本实施例与其他方法的效果对比图，本实施例与现有的其他技术进行对比，在同样的实验设置下，Min-Cut为80.69，DeepIGeoS(R-Net)为85.80，InterCNN为85.56。从而可见，本实施例提高标注的性能和效率同时，提升分割效果。

基于上述的实施例，本发明的实施例还提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述实施例中的交互式图像分割方法。

综上，本发明上述实施例根据初始分割方法的粗分割结果，根据预测错误区域提供交互提示点，根据距离公式计算并生成提示图，根据当前分割结果和提示图，采用基于深度增强学习的全卷积神经网络调整分割概率，对当前分割结果进行改善，评估对改善后的分割结果是否满意，若满意则得到最终分割结果，若不满意则专家继续向网络提供新的交互提示对分割结果进行改善，减轻了专家的标注负担，提高了标注的性能和效率。

本发明通过利用深度增强学习算法的反馈延时性，充分考虑了前后分割结果之间的关联，从而有效挖掘了交互式图像分割中迭代式更新过程的动态性，通过相对性能提升的反馈函数设计，提高了算法的探索效率；本发明使用卷积神经网络作为骨干网络，同时提取图像、当前分割结果和专家提示图的高层语义特征，将当前分割概率作为输入保留了丰富的分割结果信息并避免了分割结果的振荡现象，通过对当前分割概率作多尺度的调整，使得分割结果更加细致和精确；本发明能够有效提升交互式图像标注的性能，并且加速了分割的效率，极大程度上减少了专家的标注负担。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种交互式图像分割方法，其特征在于，包括：

S1，获取图像的初始分割结果；

S2，根据当前图像分割结果选择至少一个错误区域，对每个错误区域的中心点进行标记，作为交互提示点；

S3，计算图像上各点与每个所述交互提示点之间的距离，并生成提示图；

S4，根据当前图像分割结果和所述提示图，利用深度增强学习全卷积神经网络调整分割概率，对当前图像分割结果进行改善，得到图像分割改善结果；

S5，对所述图像分割改善结果进行评价，若满意则作为最终图像分割结果，若不满意则重新回到S2，进行迭代更新。

2.根据权利要求1所述的交互式图像分割方法，其特征在于，所述获取图像的初始分割结果，包括：

根据数据集信息选择初始图像分割算法；

在数据集上对初始图像分割算法进行训练得到初始分割模型，通过用训练后的初始分割模型作分割预测，获得图像的初始分割结果。

3.根据权利要求1所述的交互式图像分割方法，其特征在于，所述根据当前图像分割结果选择至少一个错误区域，包括：

根据当前图像分割结果，选出当前分割结果中数个预测错误的连通区域，得到预测的错误区域。

4.根据权利要求1所述的交互式图像分割方法，其特征在于，计算图像上各点与每个所述交互提示点之间的距离，并生成提示图，包括：

计算图像上每个点与每个提示点之间的距离；

根据得到的每个点与每个提示点之间的距离，对提示图上每个点取与所有提示点距离的最小值，生成提示图。

5.根据权利要求4所述的交互式图像分割方法，其特征在于，所述提示图的值运算为：

其中，x_i表示图像上一个点，h(x_i)表示提示图上x_i对应的值，C表示提示点集合，x_j表示提示点集合中一个点，Dist(x_i，x_j)表示点x_i与点x_j之间点距离。

6.根据权利要求1-5任一项所述的交互式图像分割方法，其特征在于，所述利用深度增强学习全卷积神经网络调整分割概率，对当前分割结果进行改善，包括：

拼接待分割的图像、当前分割结果和提示图这三种信息，作为网络输入信息；

利用全卷积神经网络对所述网络输入信息进行特征提取，获取输入的高层语义特征信息；

根据输入的高层语义特征信息，利用深度增强学习算法预测对当前分割概率的调整方向和尺度，实现对当前分割结果的改善。

7.根据权利要求6所述的交互式图像分割方法，其特征在于，所述利用深度增强学习算法预测对当前分割概率的调整方向和尺度，具体为：

p_t+1(x_i)＝p_t(x_i)+a_t(x_i)；

其中，x_i表示图像上一个点，p_t(x_i)表示点x_i当前的分割概率，a_t(x_i)表示点x_i当前分割概率的调整方向和尺度，p_t+1(x_i)表示点x_i改善后的分割概率。

8.根据权利要求6所述的交互式图像分割方法，其特征在于，根据当前分割改善结果，深度增强学习算法收到一个反馈信号来说明其改善行为的好坏，其中反馈函数为：

r_t+1(x_i)＝Perf(p_t+1(x_i))-Perf(p_t(x_i))；

其中，Perf(p_t(x_i))是点x_i当前分割概率的准确度，Perf(p_t+1(x_i))是点x_i改善后分割概率的准确度，r_t+1(x_i)是点x_i改善后的反馈值，当准确度有提升时反馈值为正。

9.一种交互式图像分割系统，其特征在于，包括：

初始分割模块，获取图像的初始分割结果；

交互模块，根据当前图像分割结果选择至少一个错误区域，对每个错误区域的中心点进行标记，作为交互提示点；

提示图生成模块，计算图像上各点与每个所述交互提示点之间的距离生成提示图；

改善结果生成模块，根据当前图像分割结果和所述提示图，利用深度增强学习全卷积神经网络调整分割概率，对当前图像分割结果进行改善，得到图像分割改善结果；

最终分割结果获取模块，对所述图像分割改善结果进行评价，若满意则作为最终图像分割结果，若不满意则重新回到交互模块，进行迭代更新。

10.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-8任一所述的交互式图像分割方法。

Images