CN104103059A - 图像分割方法和图像分割装置 - Google Patents

Abstract

本发明提供了一种图像分割方法和图像分割装置，所述图像分割方法包括：针对从三维图像得到的初始三维曲面初始化水平集函数和三维的内外边界点列；计算用于限制曲面演化的边界范围的三维掩码图像；通过对三维图像进行自适应点列扫描来演化曲面；对演化的曲面进行点列几何形状平滑处理；确定曲面是否已经达到曲面演化的终止条件，如果确定还没有达到曲面演化的终止条件，则重复执行自适应点列扫描演化以及点列几何形状平滑；如果确定已经满足曲面演化终止条件，则结束曲面演化，得到曲面演化结果。

Description

图像分割方法和图像分割装置

技术领域

本发明涉及图像处理和计算机视觉技术领域。更具体地讲，涉及一种对医学图像中的二维和三维结构特征进行分割的方法以及使用该方法的图分割装置。

背景技术

医学图像中二维和三维结构特征的快速分割是医学图像处理中的一项重要课题。这里的二维和三维结构特征包括：闭合边界结构，如血管、肿瘤、肝脏等在图像中具有封闭区域的结构的边界；开放边界结构，例如，不同组织(肌肉组织或脂肪组织)的分层边界、皮肤组织和空气的分层边界等，这类边界并不形成图像内的封闭区域。在不同的图像模态(如超声、CT、核磁共振以及最新的光学相干成像(OCT))中，都需要精确的提取人体组织图像中的解剖学特征。快速的结构特征分割算法可以应用在图像引导的高强度聚焦超声HIFU(High Intensity Focused Ultrasound)治疗以及实时频域OCT中的运动补偿。

例如，在超声图像中，需要准确地提取血管、胆囊等特征的位置和形状有助于相关肿瘤区域的准确定位和跟踪，肿瘤区域本身的准确分割也会给HIFU治疗提供帮助。在光学相干图像中，准确的提取视网膜中不同组织的分层边界可以有助于眼科疾病的辅助诊疗，而提取由于运动变化了的组织边界曲线的准确位置又可以用来做相应的图像运动补偿。医学图像中的特征结构形状变化很大，例如血管的二维切面可以呈现椭圆形，线形或树形等，这些形状属于闭合区域，其边界是一个闭合曲线，而图像二维切面的边界层曲线是一个开放曲线，即具有起点和终点。目前来说还不存在一个实时的处理广泛的形状变化的二维曲线和三维曲面的分割算法。

目前已有的医学图像分割算法主要分成两大类。一类是基于水平集(Level set)的方法，常用应用于肿瘤分割、器官分割等领域，这类方法一般可以根据公式推导将分割问题转化成一个曲线或曲面的局部演化问题，同时也可以和一些根据训练图像学习得到的形状或纹理统计模型结合起来，解决水平集演化易受初始值和图像噪声影响的问题。然而，这种方法的主要的问题是需要训练的统计模型在很多情况下很难得到，另外曲线演化是一个局部优化问题，具有许多的局部最优位置，在实际图像中非常取决于初始值和演化限制区域的确定。另一类是基于图像图结构优化的方法，这类方法实际上包含了动态规划法，最短路径法以及图分割法(Graph Cut)等，在OCT图像层的分割中有很多的应用。这些方法一般假设图像中的各个像素为节点，相邻的两个节点之间通过代价函数连接，分割问题可以转化成一个具有最小代价的路径最优提取的问题。和基于水平集的方法不同，最短路径方法可以保证路径的全局最优性，可主要的问题是其代价函数的定义都是局部的，同时最短路径法只适合二维图像处理，不能直接推广到三维图像中，而且一般来说其计算复杂度比较高，处理速度慢。就目前的文献报道来看，处理一个大小适中的三维图像的层分割，经过优化的不含GPU加速的分割算法所需时间在十几秒到数十分钟之间，而这样的处理速度不能满足典型的医学成像处理的要求。

发明内容

本发明提供一种能够处理医学图像中各种二维和三维结构特征的快速分割方法和使用该方法的图像分割装置。根据本发明的一方面，可以实现以超实时的速度提取二维图像中的特征边界，这些信息可以辅助进行实时的三维器官跟踪。另一方面，本发明可以在二维分割的基础上进行三维结构分割，快速得到三维结构的准确边界。

根据本发明的一方面，提供了一种用于开放曲线的图像分割方法，包括：对输入图像进行下采样，以得到采样图像；对采样图像进行图像层的粗分割；基于粗分割的结果所限制的层边界范围对原始输入图像进行精细分割，以得到最终的开放曲线，其中，在粗分割和精细分割中，使用基于非后向动态规划的最佳路径搜索来得到开放曲线，其中，在所述非后向动态规划的最佳路径搜索中，考虑当前节点的下节点的累计代价的更新来改变当前节点的累计代价。

根据本发明的一方面，在所述非后向动态规划的最佳路径搜索中对一列节点的从上至下的扫描中，对一个当前节点，首先根据其邻域中上、下、左、左上、左下的5个相邻节点计算累计代价的最小值；在一列节点的累计代价更新完毕后，再进行一次从上至下的扫描，并根据更新后的邻域中的5个相邻节点的累计代价计算该列中的各个节点的累计代价的最小值；当进行到终止节点时，进行反向跟踪来得到每一列中最终的在最小边界路径上的边界节点，从而得到图像中的边界的分割曲线。

根据本发明的另一方面，提供了一种用于开放曲线的图像分割装置，包括：图像采样单元，对输入图像进行下采样，以得到采样图像；粗分割单元，对采样图像进行图像层的粗分割；精细分割单元，基于粗分割单元的分割结果所限制的层边界范围对原始的输入图像进行精细分割，以得到最终的开放曲线，其中，粗分割单元和精细分割单元使用基于非后向动态规划的最佳路径搜索来得到开放曲线，其中，在所述非后向动态规划的最佳路径搜索中，考虑当前节点的下节点的累计代价的更新来改变当前节点的累计代价。

根据本发明的又一方面，提供了一种用于封闭曲线的图像分割方法，包括：针对给定的输入图像，初始化水平集函数和内外边界点列表；基于水平集函数和内外边界点列表，通过对输入图像进行自适应点列扫描来演化曲线；对演化的曲线进行点列几何形状平滑处理；确定得到的曲线是否已经满足封闭曲线演化终止条件，如果确定还没有达到封闭曲线演化终止条件，则重复执行自适应点列扫描演化以及点列几何形状平滑；如果确定已经满足封闭曲线演化终止条件，则结束曲线演化，得到最终的封闭曲线，其中，在自适应点列扫描中，采用链表的方式来管理点列，从前向后连续扫描每一个链表，并且将新加入的活动点加入链表的最后。

根据本发明的又一方面，在自适应点列扫描中，将图像划分为多个区域，利用与区域对应的对象索引图和每个区域中的一对内外边界点列表的表示方式来同时进行多个区域的边界曲线演化。

根据本发明的另一方面，提供了一种图像分割装置，包括：初始化单元，针对给定的输入图像，初始化水平集函数和内外边界点列表；自适应点列扫描单元，基于水平集函数和内外边界点列表，通过对输入图像进行自适应点列扫描来演化曲线；几何形状平滑单元，对演化的曲线进行点列几何形状平滑处理；图像分割结果输出单元，确定几何形状平滑处理后的曲线是否已经满足封闭曲线演化终止条件，如果确定还没有达到封闭曲线演化终止条件，则将演化的曲线返回自适应点列扫描单元以重复执行自适应点列扫描演化和点列几何形状平滑，如果确定已经满足封闭曲线演化终止条件，则结束曲线演化，输出最终的封闭曲线，其中，自适应点列扫描单元采用链表的方式来管理点列，从前向后连续扫描每一个链表，并且将新加入的活动点加入链表的最后。

根据本发明的又一方面，提供了一种图像分割方法，包括：针对从三维图像得到的初始三维曲面初始化水平集函数和三维的内外边界点列；计算用于限制曲面演化的边界范围的三维掩码图像；通过对三维图像进行自适应点列扫描来演化曲面；对演化的曲面进行点列几何形状平滑处理；确定得到的曲面是否已经达到曲面演化的终止条件，如果确定还没有达到曲面演化的终止条件，则重复执行自适应点列扫描演化以及点列几何形状平滑；如果确定已经满足曲面演化终止条件，则结束曲面演化，得到曲面演化结果。

根据本发明的又一方面，通过将初始三维曲面在上下方向上平移预定距离来形成三维掩码图像。

根据本发明的又一方面，通过以下步骤从三维图像得到初始三维曲面：从三维图像中采样得到二维的关键帧的图像切片；从每一个二维关键帧提取开放曲线和封闭曲线；通过对关键帧上的开放曲线和封闭曲线进行曲面插值得到初始的三维曲面。

根据本发明的又一方面，对三维图像采用均匀采样或根据扫描位置做重要性采样，从而得到关键帧的图像切片。

根据本发明的又一方面，将二维关键帧的图像划分为多个区域，利用与区域对应的对象索引图和每个区域中的一对内外边界点列表的表示方式来同时进行多个区域的边界曲线演化。

根据本发明的另一方面，提供了一种图像分割装置，包括：初始化单元，针对从三维图像产生的三维曲面初始化水平集函数和三维的内外边界点列；三维掩码图像计算单元，计算曲面演化边界范围的三维掩码图像；自适应点列扫描单元，通过对进行自适应点列扫描来演化曲面；几何形状平滑单元，对演化得到的曲面进行点列几何形状平滑处理；图像分割结果输出单元，根据几何形状平滑单元的处理结果确定曲面演化的结果是否已经达到曲面演化的终止条件，如果确定还没有达到曲面演化终止条件，则将演化的曲面返回到自适应点列扫描单元，从而重复执行自适应点列扫描演化和几何形状平滑单元的点列几何形状平滑；如果确定已经满足曲线演化终止条件，则结束曲面演化，并输出最终的曲面演化结果。

附图说明

通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：

图1是示出根据本发明实施例的二维图像分割方法中的开放曲线分割处理的流程图；

图2示出现有技术的图像分割方法中的路径搜索所采用的前向动态规划结构图和根据本发明实施例的二维图像分割方法的路径搜索使用的非后向动态规划结构图；

图3示出根据本发明实施例的二维图像分割方法中的闭合曲线分割处理的过程；

图4是示出根据本发明实施例的三维图像分割方法的流程图；

图5是示出根据本发明实施例的用于开放曲线的图像分割装置的框图；

图6是示出根据本发明实施例的用于封闭曲线的图像分割装置的框图；

图7是示出根据本发明另一实施例的三维图像分割装置的框图。

具体实施方式

下面提供参照附图进行的描述以有助于全面理解如权利要求及其等同物所限定的本发明的示例性实施例。所述描述包括各种详细的细节以有助于理解，而这些描述将被认为仅为示例性的。因此，本领域的普通技术人员将意识到在不脱离本发明的范围和精神的情况下可做出在此描述的各种改变和变型。另外，为了清晰和简洁，可省略对公知功能和构造的描述。

在下面的描述和权利要求中使用的术语和词语不限于书面意思，而是仅被发明人所使用以能够清楚且一致地理解本发明。因此，本领域技术人员应该清楚的是，下面提供的对本发明的示例性实施例的描述仅出于示出的目的，而不是出于限制如由权利要求及其等同物限定的本发明的目的。

图1是示出根据本发明实施例的二维图像分割方法的开放曲线分割处理的流程图。

首先，在步骤S110，对输入图像进行下采样，从而得到采样图像。

然后，在步骤S120，对采样图像进行图像层的粗分割。这里，粗分割的结果可以对输入图像的层边界的范围作出限制。

最后，在步骤S130，在步骤S120限制的层边界的范围内对原始的输入图像进行精细分割，从而得到最终的图像的二维分割结果。

在本发明中，在步骤S120和S130的粗分割和精细分割中均使用了根据本发明的基于非后向动态规划(NB-DP)的最佳路径搜索方法。

下面将参照图2来说明根据现有技术的图像分割方法中的路径搜索所采用的前向动态规划结构图和根据本发明实施例的二维图像分割方法的路径搜索使用的非后向动态规划结构图。

如图2所示，现有技术的普通动态规划(即，前向动态规划)的图结构如图2(a)所示。图2(a)中的s，t分别代表起始和终止节点，图中的有向边代表可能的路径走向。对于一个纵列中的一个节点来说，可以和下一个纵列中的几个节点相连，动态规划算法根据定义在边上的代价函数和图结构，可以得到具有最小代价的最优路径。现有技术的动态规划方法的问题在于，前向动态规划假设一个纵列中只出现一个边界节点，而不能出现多个相邻的边界节点(就是垂直边界)，这就导致某些具有大斜率的边界无法在图结构中表示。

根据本发明实施例的非后向动态规划的结构图在图2(b)示出。如图2(b)所示，在根据本发明实施例的非后向动态规划方法的结构图中，对于一个纵列中的一个节点来说，考虑从上一个纵列和同一个纵列中的几个节点相连，即当前节点的上、下、左、左上、左下节点。这样的图结构可以表示各种斜率，即，可包括竖直的曲线边界。同时，在这样的结构图上寻找最优路径的计算方法和现有的方法有所不同，根据本发明实施例的非后向动态规划考虑一个邻域结构，并且在计算过程中当前节点的下节点的累计代价的更新会影响当前节点的累计代价，而普通的前向动态规划算法却不会考虑当前节点的下节点。可采用现有的任何的代价计算函数来计算节点的代价。

因此，根据本发明的非后向动态规划方法需要对列像素节点进行两次扫描。具体地，首先，初始化累计代价矩阵，即将初始节点s的值设为0，其他节点的值设为最大值；接下来，对图中第二列的节点进行扫描，首先计算邻域中包含初始节点的节点的累计代价，然后按向上和向下两个方向计算此列中其余节点的累计代价。然后，对图中的其他列的节点进行逐列的扫描，其中，在一列的从上至下的扫描中，对一个当前节点，首先根据其邻域中的5个节点(即，上、下、左、左上、左下节点)计算其累计代价的最小值，在一列节点的累计代价更新完毕后，再对该列进行一次从上至下的扫描，并根据更新后的邻域中的5个节点的累计代价计算各个节点的累计代价的最小值；当进行到终止节点时，进行反向跟踪来得到每一列中最终的在最小边界路径上的边界节点。这样，就得到了最后的分割边界曲线，从而实现对二维图像的分割。

图3是根据本发明实施例的封闭曲线分割方法的流程图。

在本发明中，按照稀疏场水平集(Sparse field level set)的计算框架，可采用一个内边界点列表和一个外边界点列表的形式来表示图像中的封闭区域的边界，其中，内边界是指紧贴边界的区域内部的点，而外边界指紧贴边界的区域外部的点，水平集的演化过程实际上就转化为内外边界点列表的扫描和演化问题。

具体地，如图3所示，首先，在步骤S301，针对给定的输入图像，初始化水平集函数和内外边界点列表。可根据输入图像中的一个初始区域提取最初的内边界点列表和外边界点列表，这个初始区域可以是一个圆或者矩形或其它简单形状，其位置和大小的获取根据不同应用有多种方式，如种子点检测，滑动窗检测等。

接下来，在步骤S303，基于水平集函数和内外边界点列表，通过对输入图像进行自适应点列扫描来演化曲线。这里，点列反映的是变化中的曲线，在曲线演化过程中有些点是基本不动或很少动的，而有些点是经常改变的，随着曲线演化的迭代进行，越来越多的点列中的点会保持不变，而对其进行扫描和计算是没有必要的。因此，根据本发明实施例的自适应点列扫描方式采用链表的方式来管理点列，并且从前向后连续扫描每一个链表，并且将新加入的活动点加入链表的最后。这样，那些不活动的点在扫描一次后将不会被再次扫描，而活跃的点不断出现在链表末尾而可以被多次扫描。这样的自适应点列扫描模式可以使曲线演化的速度大大加快。

此外，在步骤S303的曲线演化处理中，还可将图像划分为多个区域，利用与区域对应的对象索引图和每个区域中的一对内外边界点列表的表示方式来同时进行多个区域的边界曲线演化。对象索引图为标号指示场，用以标示不同位置各目标的内部区域，例如可设置背景索引图值为0，A目标区域的索引图值为1，B目标区域的索引图值都为2等。对象索引图根据初始条件建立，在演化过程中不断更新。

各区域边界链表根据对象索引图建立，即根据其指示的目标标号分别建立针对各目标的边界链表。实现中，在计算一次能量的前提下，逐条演化各边界曲线。

这样，一方面可以很方便的处理区域的拓扑结构变化如区域分裂和合并等，另一方面也可以明显减少分割所有区域形状的总时间。

接下来，在步骤S305，对演化的曲线进行点列几何形状平滑处理。

需要说明的是，根据水平集理论的推导，点列表的演化方向主要受图像力和曲线几何约束的影响，其中图像力根据前景和背景区域的概率分布确定，点列表的演化步长就是单个像素的长度，而需要指出的是，本发明的曲线演化所采用的图像力和曲线几何约束可根据实际情况参考现有技术中的图象力和曲线几何约束。

接下来，在步骤S307，确定是否已经满足曲线演化终止条件。如果确定还没有达到曲线演化终止条件，则返回步骤S303重复执行自适应点列扫描演化以及步骤S305的点列几何形状平滑。如果确定已经满足曲线演化终止条件，则结束曲线演化，从而在步骤S309得到封闭曲线。

下面将参照图4来说明根据本发明实施例的三维图像分割方法。

三维图像分割表示在三维图像上进行三维曲面演化。根据本发明实施例的三维曲面演化是将根据图3所描述的封闭曲线分割方法的水平集算法扩展到三维空间而形成的。根据本发明实施例的三维曲面演化与图3的封闭曲线演化方法的主要的区别有如下几点：1)内外边界点列中的点从二维点变成了三维点，同时曲线的几何约束和形状平滑变成了曲面的几何约束和形状平滑；2)增加了一个用于确定曲面演化的边界范围的三维掩码图像；3)在三维曲面演进中，将内外区域的定义扩展为以边界曲线为边界的两个互不相交的区域，从而可以对封闭曲面和开放曲面都可以用根据本发明的曲面分割方法进行处理。

具体地，如图4所示，首先，在步骤S401，通过对三维图像中的关键帧中的曲线进行曲面插值得到粗略的三维曲面。这里，首先从三维图像中采样一些稀疏的关键帧图像切片，可以采用均匀采样或根据扫描位置做重要性采样，从而得到关键帧图像切片。可对每一个二维关键帧图像使用如上的图2开放曲线分割方法提取开放曲线，并使用如上的图3的封闭曲线分割方法提取封闭曲线。这些提取得到的曲线在三维空间上形成了对目标曲面的稀疏采样，从而可通过对关键帧上的开放曲线和封闭曲线进行曲面插值得到一个粗略的三维曲面。插值方法包括但不限于分段线性插值等。应注意，虽然在本发明中通过上述的曲面插值方式来得到初始的三维曲面，但是可采用其它的任何合适的方式来得到初始的三维曲面。

然后，在步骤S403，针对在步骤S401得到的三维曲面初始化水平集函数和三维的内外边界点列。

接下来，在步骤S405，计算曲面演化边界范围的三维掩码图像。可在初始曲面的邻域中形成三维掩码图像，例如，可将初始的三维曲面向上下各平移预定距离来形成三维掩码图像。如上所述，三维掩码图像用于限制曲面演化的边界范围。

然后，在步骤S407，通过对三维图像进行自适应点列扫描来演化曲面。这里，同样可采用链表的形式来管理点列。与图3的封闭曲线的点列不同的是，曲面演化中的点列是三维的点列。

接下来，在步骤S409，对演化的曲面进行点列几何形状平滑处理。

在步骤S411，确定是否已经达到曲面演化的终止条件。如果确定还没有达到曲面演化终止条件，则返回步骤S407重复执行自适应点列扫描演化以及步骤S409的点列几何形状平滑。如果确定已经满足曲线演化终止条件，则结束曲面演化，从而在步骤S413得到精确的曲面演化结果。

由于同样采用了自适应的点列扫描模式，所以根据本发明实施例的三维曲面演化也比已有的三维分割算法速度更快。

图5是示出根据本发明实施例的用于开放曲线处理的图像分割装置500的框图。图像分割装置500可用于如图5所示，根据本发明实施例的图像分割装置500包括图像采样单元510、粗分割单元520和精细分割单元530。

图像采样单元510对输入图像进行下采样，从而得到采样图像。

粗分割单元520对图像采样单元510采样得到的采样图像进行图像层的粗分割。这里，粗分割的结果可以对输入图像的层边界的范围作出限制。

接下来，精细分割单元530根据粗分割单元520分割的结果所限制的层边界的范围对原始的输入图像进行精细分割，从而得到最终的图像的二维分割结果。这里，粗分割单元520和精细分割单元530均使用如上所述的基于非后向动态规划的最佳路径搜索方法来对图像进行分割。由于已经对非后向动态规划的最佳路径搜索进行了说明，因此将不再详细描述。

图6是示出根据本发明另一实施例的用于封闭曲线处理的图像分割装置600的框图。如图6所示，图像分割装置600包括初始化单元610、自适应点列扫描单元620、几何形状平滑单元630和图像分割结果输出单元640。

初始化单元610针对给定的输入图像，初始化水平集函数和内外边界点列表。

自适应点列扫描单元620通过对输入图像进行自适应点列扫描来演化曲线。本发明实施例的自适应点列扫描方式采用链表的方式来管理点列，从前向后连续扫描每一个链表，并且将新加入的活动点加入链表的最后。自适应点列扫描单元620根据前景背景分布区域来确定图象力，从而根据图象力约束曲线的演进方向。

此外，自适应点列扫描单元620还可将图像划分为多个区域，利用对象索引图和每个区域中的一对内外边界点列表的表示方式来同时进行多个区域的边界曲线演化。

接下来，几何形状平滑单元630对曲线演化进行曲线进行点列几何形状平滑处理。根据本发明实施例的几何形状平滑单元630可根据实际情况参考现有技术中的曲线几何约束来进行演化曲线的几何形状平滑。

最后，图像分割结果输出单元640确定几何形状平滑单元630输出的演化曲线结果是否已经满足曲线演化终止条件。如果确定还没有达到曲线演化终止条件，则图像分割结果输出单元640将曲线演化结果输出到自适应点列扫描单元620，从而对曲线演化结果重复执行自适应点列扫描演化以及点列几何形状平滑。如果确定已经满足曲线演化终止条件，则图像分割结果输出单元640结束曲线演化，得到最终的封闭曲线。

图7是示出根据本发明另一实施例的用于分割三维图像的图像分割装置700。如图7所示，图像分割装置700包括关键帧采样单元710、曲线提取单元720、曲面插值单元730、初始化单元740、三维掩码图像计算单元750、自适应点列扫描单元760、几何形状平滑单元770和图像分割结果输出单元780。

在图像分割装置700中，关键帧采样单元710、曲线提取单元720、和曲面插值单元730用于通过对三维图像中的关键帧图像切片中的曲线进行曲面插值得到粗略的三维曲面。因此，这几个单元可以根据情况合并为一个用于生成初始曲面的单元。具体地，关键帧采样单元710从输入的三维图像中采样得到稀疏的关键帧图像切片。关键帧采样单元710可以采用均匀采样或根据扫描位置做重要性采样，从而得到关键帧图像切片。

曲线提取单元720包括开放曲线提取单元721，其对每一个二维关键帧图像切片使用如上的图2开放曲线分割方法提取开放曲线，曲线提取单元720还包括封闭曲线提取单元723，其使用如上的图3的封闭曲线分割方法从二维关键帧图像切片中提取封闭曲线。

具体地，开放曲线分割单元721可包括(在图7中未示出)：图像采样单元，对二维关键帧的图像进行下采样以得到采样图像；粗分割单元，对采样图像进行图像层的粗分割；精细分割单元，基于粗分割的结果所限制的层边界范围对原始输入图像进行精细分割，以得到最终的开放曲线，其中，粗分割单元和精细分割单元使用基于非后向动态规划的最佳路径搜索来得到开放曲线。

封闭曲线提取单元723可包括(在图7中未示出)：二维初始化单元，针对给定的二维关键帧的图像，初始化水平集函数和内外边界点列表；二维自适应点列扫描单元，基于水平集函数和内外边界点列表，通过对二维关键帧的图像进行自适应点列扫描来演化曲线；二维几何形状平滑单元，对演化的曲线进行点列几何形状平滑处理；封闭曲线输出单元，确定二维几何形状平滑单元得到的曲线是否已经满足封闭曲线演化终止条件，如果确定还没有达到封闭曲线演化终止条件，则将演化的曲线返回二维自适应点列扫描单元以重复执行自适应点列扫描演化以及点列几何形状平滑；如果确定已经满足封闭曲线演化终止条件，则结束曲线演化，得到最终的封闭曲线，其中，二维自适应点列扫描单元采用链表的方式来管理点列，从前向后连续扫描每一个链表，并且将新加入的活动点加入链表的最后。二维自适应点列扫描单元可将二维关键帧的图像划分为多个区域，利用与区域对应的对象索引图和每个区域中的一对内外边界点列表的表示方式来同时进行多个区域的边界曲线演化。

曲面插值单元730可通过对关键帧中的开放曲线和封闭曲线进行曲面插值得到粗略的三维曲面。插值方法包括但不限于分段线性插值等。另外，应理解，本发明也可采用其它的方案来产生初始曲面。

初始化单元740针对曲面插值单元730产生的三维曲面初始化水平集函数和三维的内外边界点列。

三维掩码图像计算单元750计算曲面演化边界范围的三维掩码图像。

自适应点列扫描单元760通过进行自适应点列扫描来演化曲面。这里，同样可采用链表的形式来管理点列。

几何形状平滑单元770对曲面演化进行点列几何形状平滑处理。

图像分割结果输出单元780根据几何形状平滑单元770的处理结果确定曲面演化的结果是否已经达到曲面演化的终止条件。如果确定还没有达到曲面演化终止条件，则将演化的曲面返回到自适应点列扫描单元760，从而重复执行自适应点列扫描演化和几何形状平滑单元770的点列几何形状平滑。如果确定已经满足曲线演化终止条件，则结束曲面演化，并输出最终的曲面演化结果。

本发明的图像分割方法和图像分割装置通过一种非后向扩散的动态规划算法用来提取二维开放曲线，和已有的前向扩散动态规划算法相比，能够提取大斜率变化的曲线。

本发明的图像分割方法和图像分割装置还通过一种自适应的扫描方式来处理二维和三维图像的水平集分割的演化问题，可以大大提高曲线曲面的演化速度。

另外，本发明的图像分割方法和图像分割装置还提出了一种三维曲面的分割算法框架，通过对有限个数选定好的关键帧做二维分割，然后根据二维分割结果做三维上的插值得到粗略的曲面位置，最后通过快速水平集曲面演化的方式得到精确的三维曲面分割结果。

根据本发明的方法可被记录在包括执行由计算机实现的各种操作的程序指令的计算机可读介质中。介质也可以只包括程序指令或者包括与程序指令相结合的数据文件、数据结构等。计算机可读介质的例子包括磁介质(例如硬盘、软盘和磁带)；光学介质(例如CD-ROM和DVD)；磁光介质(例如，光盘)；以及特别配制用于存储并执行程序指令的硬件装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。介质也可以是包括传输规定程序指令、数据结构等的信号的载波的传输介质(例如光学线或金属线、波导等)。程序指令的例子包括例如由编译器产生的机器码和包含可使用解释器由计算机执行的高级代码的文件。

尽管已经参照本发明的示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (24)

1.一种用于开放曲线的图像分割方法，包括：

对输入图像进行下采样，以得到采样图像；

对采样图像进行图像层的粗分割；

基于粗分割的结果所限制的层边界范围对原始输入图像进行精细分割，以得到最终的开放曲线，

其中，在粗分割和精细分割中，使用基于非后向动态规划的最佳路径搜索来得到开放曲线，

其中，在所述非后向动态规划的最佳路径搜索中，考虑当前节点的下节点的累计代价的更新来改变当前节点的累计代价。

2.如权利要求1所述的图像分割方法，其中，在所述非后向动态规划的最佳路径搜索中对一列节点的从上至下的扫描中，对一个当前节点，首先根据其邻域中上、下、左、左上、左下的5个相邻节点计算累计代价的最小值；在一列节点的累计代价更新完毕后，再进行一次从上至下的扫描，并根据更新后的邻域中的5个相邻节点的累计代价计算该列中的各个节点的累计代价的最小值；当进行到终止节点时，进行反向跟踪来得到每一列中最终的在最小边界路径上的边界节点，从而得到图像中的边界的分割曲线。

3.一种用于开放曲线的图像分割装置，包括：

图像采样单元，对输入图像进行下采样，以得到采样图像；

粗分割单元，对采样图像进行图像层的粗分割；

精细分割单元，基于粗分割单元的分割结果所限制的层边界范围对原始的输入图像进行精细分割，以得到最终的开放曲线，

其中，粗分割单元和精细分割单元使用基于非后向动态规划的最佳路径搜索来得到开放曲线，

其中，在所述非后向动态规划的最佳路径搜索中，考虑当前节点的下节点的累计代价的更新来改变当前节点的累计代价。

4.如权利要求3所述的图像分割装置，其中，在所述非后向动态规划的最佳路径搜索中对一列节点的从上至下的扫描中，对一个当前节点，首先根据其邻域中上、下、左、左上、左下的5个相邻节点计算累计代价的最小值；在一列节点的累计代价更新完毕后，再进行一次从上至下的扫描，并根据更新后的邻域中的5个相邻节点的累计代价计算该列中的各个节点的累计代价的最小值；当进行到终止节点时，进行反向跟踪来得到每一列中最终的在最小边界路径上的边界节点，从而得到图像中的边界的分割曲线。

5.一种用于封闭曲线的图像分割方法，包括：

(a)针对给定的输入图像，初始化水平集函数和内外边界点列表；

(b)基于水平集函数和内外边界点列表，通过对输入图像进行自适应点列扫描来演化曲线；

(c)对在步骤(b)演化的曲线进行点列几何形状平滑处理；

(d)确定在步骤(c)得到的曲线是否已经满足封闭曲线演化终止条件，如果确定还没有达到封闭曲线演化终止条件，则返回步骤(b)重复执行自适应点列扫描演化以及步骤(c)的点列几何形状平滑；如果确定已经满足封闭曲线演化终止条件，则结束曲线演化，得到最终的封闭曲线，

其中，在自适应点列扫描中，采用链表的方式来管理点列，从前向后连续扫描每一个链表，并且将新加入的活动点加入链表的最后。

6.如权利要求5所述的方法，其中，在步骤(b)，将图像划分为多个区域，利用与区域对应的对象索引图和每个区域中的一对内外边界点列表的表示方式来同时进行多个区域的边界曲线演化。

7.一种图像分割装置，包括：

初始化单元，针对给定的输入图像，初始化水平集函数和内外边界点列表；

自适应点列扫描单元，基于水平集函数和内外边界点列表，通过对输入图像进行自适应点列扫描来演化曲线；

几何形状平滑单元，对演化的曲线进行点列几何形状平滑处理；

图像分割结果输出单元，确定几何形状平滑处理后的曲线是否已经满足封闭曲线演化终止条件，如果确定还没有达到封闭曲线演化终止条件，则将演化的曲线返回自适应点列扫描单元以重复执行自适应点列扫描演化和点列几何形状平滑，如果确定已经满足封闭曲线演化终止条件，则结束曲线演化，输出最终的封闭曲线，

其中，自适应点列扫描单元采用链表的方式来管理点列，从前向后连续扫描每一个链表，并且将新加入的活动点加入链表的最后。

8.如权利要求7所述的图像装置，其中，自适应点列扫描单元将图像划分为多个区域，利用与区域对应的对象索引图和每个区域中的一对内外边界点列表的表示方式来同时进行多个区域的边界曲线演化。

9.一种图像分割方法，包括：

(a)针对从三维图像得到的初始三维曲面初始化水平集函数和三维的内外边界点列；

(b)计算用于限制曲面演化的边界范围的三维掩码图像；

(c)通过对三维图像进行自适应点列扫描来演化曲面；

(d)对演化的曲面进行点列几何形状平滑处理；

(e)确定在步骤(d)得到的曲面是否已经达到曲面演化的终止条件，如果确定还没有达到曲面演化的终止条件，则返回步骤(c)重复执行自适应点列扫描演化以及步骤(d)的点列几何形状平滑；如果确定已经满足曲面演化终止条件，则结束曲面演化，得到曲面演化结果。

10.如权利要求9所述的图像分割方法，其中，在步骤(b)，通过将初始三维曲面在上下方向上平移预定距离来形成三维掩码图像。

11.如权利要求9所述的图像分割方法，还包括：通过以下步骤从三维图像得到初始三维曲面：

(a1)从三维图像中采样得到二维的关键帧的图像切片；

(a2)从每一个二维关键帧提取开放曲线和封闭曲线；

(a3)通过对关键帧上的开放曲线和封闭曲线进行曲面插值得到初始的三维曲面。

12.如权利要求11所述的图像分割方法，其中，步骤(a1)包括：对三维图像采用均匀采样或根据扫描位置做重要性采样，从而得到关键帧的图像切片。

13.如权利要求11所述的图像分割方法，其中，在步骤(a2)的提取开放曲线的步骤包括：

对二维关键帧的图像进行下采样，以得到采样图像；

对采样图像进行图像层的粗分割；

基于粗分割的结果所限制的层边界范围对原始输入图像进行精细分割，以得到最终的开放曲线，

其中，在粗分割和精细分割中，使用基于非后向动态规划的最佳路径搜索来得到开放曲线，

其中，在所述非后向动态规划的最佳路径搜索中，考虑当前节点的下节点的累计代价的更新来改变当前节点的累计代价。

14.如权利要求13所述的图像分割方法，其中，在所述非后向动态规划的最佳路径搜索中对一列节点的从上至下的扫描中，对一个当前节点，首先根据其邻域中上、下、左、左上、左下的5个相邻节点计算累计代价的最小值；在一列节点的累计代价更新完毕后，再进行一次从上至下的扫描，并根据更新后的邻域中的5个相邻节点的累计代价计算该列中的各个节点的累计代价的最小值；当进行到终止节点时，进行反向跟踪来得到每一列中最终的在最小边界路径上的边界节点，从而得到二维关键帧的图像中的开放曲线。

15.如权利要求11所述的图像分割方法，其中，在步骤(a2)的提取封闭曲线的步骤包括：

(a21)针对给定的二维关键帧的图像，初始化水平集函数和内外边界点列表；

(a22)基于水平集函数和内外边界点列表，通过对二维关键帧的图像进行自适应点列扫描来演化曲线；

(a23)对演化的曲线进行点列几何形状平滑处理；

(a24)确定在步骤(a23)得到的曲线是否已经满足封闭曲线演化终止条件，如果确定还没有达到封闭曲线演化终止条件，则返回步骤(a22)重复执行自适应点列扫描演化以及步骤(a23)的点列几何形状平滑；如果确定已经满足封闭曲线演化终止条件，则结束曲线演化，得到最终的封闭曲线，

其中，在自适应点列扫描中，采用链表的方式来管理点列，并且从前向后连续扫描每一个链表，并且将新加入的活动点加入链表的最后。

16.如权利要求15所述的方法，其中，在步骤(a22)，将二维关键帧的图像划分为多个区域，利用与区域对应的对象索引图和每个区域中的一对内外边界点列表的表示方式来同时进行多个区域的边界曲线演化。

17.一种图像分割装置，包括：

初始化单元，针对从三维图像产生的三维曲面初始化水平集函数和三维的内外边界点列；

三维掩码图像计算单元，计算曲面演化边界范围的三维掩码图像；

自适应点列扫描单元，通过对进行自适应点列扫描来演化曲面；

几何形状平滑单元，对演化得到的曲面进行点列几何形状平滑处理；

图像分割结果输出单元，根据几何形状平滑单元的处理结果确定曲面演化的结果是否已经达到曲面演化的终止条件，如果确定还没有达到曲面演化终止条件，则将演化的曲面返回到自适应点列扫描单元，从而重复执行自适应点列扫描演化和几何形状平滑单元的点列几何形状平滑；如果确定已经满足曲线演化终止条件，则结束曲面演化，并输出最终的曲面演化结果。

18.如权利要求17所述的图像分割装置，其中，三维掩码图像计算单元通过将初始三维曲面在上下方向上平移预定距离来形成三维掩码图像。

19.如权利要求17所述的图像分割装置，还包括：

关键帧采样单元，从三维图像中采样得到二维的关键帧的图像切片；

曲线提取单元，从每一个二维关键帧提取开放曲线和封闭曲线；

曲面插值单元，通过对关键帧上的开放曲线和封闭曲线进行曲面插值得到初始的三维曲面。

20.如权利要求19所述的图像分割装置，其中关键帧采样单元对三维图像采用均匀采样或根据扫描位置做重要性采样，从而得到关键帧的图像切片。

21.如权利要求19所述的图像分割装置，其中，曲线提取单元包括开放曲线分割单元，所述开放曲线分割单元包括：

图像采样单元，对二维关键帧的图像进行下采样以得到采样图像；

粗分割单元，对采样图像进行图像层的粗分割；

精细分割单元，基于粗分割的结果所限制的层边界范围对原始输入图像进行精细分割，以得到最终的开放曲线，

其中，粗分割单元和精细分割单元使用基于非后向动态规划的最佳路径搜索来得到开放曲线，

其中，在所述非后向动态规划的最佳路径搜索中，考虑当前节点的下节点的累计代价的更新来改变当前节点的累计代价。

22.如权利要求21所述的图像分割装置，其中，在所述非后向动态规划的最佳路径搜索中对一列节点的从上至下的扫描中，对一个当前节点，首先根据其邻域中上、下、左、左上、左下的5个相邻节点计算累计代价的最小值；在一列节点的累计代价更新完毕后，再进行一次从上至下的扫描，并根据更新后的邻域中的5个相邻节点的累计代价计算该列中的各个节点的累计代价的最小值；当进行到终止节点时，进行反向跟踪来得到每一列中最终的在最小边界路径上的边界节点，从而得到二维关键帧的图像中的开放曲线。

23.如权利要求19所述的图像分割装置，其中，曲线提取单元包括封闭曲线提取单元，所述封闭曲线提取单元包括：

二维初始化单元，针对给定的二维关键帧的图像，初始化水平集函数和内外边界点列表；

二维自适应点列扫描单元，基于水平集函数和内外边界点列表，通过对二维关键帧的图像进行自适应点列扫描来演化曲线；

二维几何形状平滑单元，对演化的曲线进行点列几何形状平滑处理；

封闭曲线输出单元，确定二维几何形状平滑单元得到的曲线是否已经满足封闭曲线演化终止条件，如果确定还没有达到封闭曲线演化终止条件，则将演化的曲线返回二维自适应点列扫描单元以重复执行自适应点列扫描演化以及点列几何形状平滑；如果确定已经满足封闭曲线演化终止条件，则结束曲线演化，得到最终的封闭曲线，

其中，二维自适应点列扫描单元采用链表的方式来管理点列，从前向后连续扫描每一个链表，并且将新加入的活动点加入链表的最后。

24.如权利要求19所述的图像分割装置，其中，二维自适应点列扫描单元将二维关键帧的图像划分为多个区域，利用与区域对应的对象索引图和每个区域中的一对内外边界点列表的表示方式来同时进行多个区域的边界曲线演化。