CN111161280B - 一种基于神经网络的轮廓演化分割方法 - Google Patents

Abstract

本发明实施例公开了一种基于神经网络的轮廓演化以及分割方法。该方法使用神经网络来自主自动地表达轮廓演化方向，将其应用于图像分割任务。本方法将轮廓演化分割过程阐释为一个给定初始化的增量更新过程，并使用神经网络来表达演化方向。相比于传统的主动轮廓分割模型和方法需要人工设定能量函数与演化方向，基于神经网络的轮廓演化可从数据和当前轮廓中自动学习和估计轮廓的演化方向。这种表达方法能够适应不同的初始轮廓，也克服了传统主动轮廓分割模型对于初始化轮廓非常敏感的问题。同时，由于本方法基于神经网络，因此估计演化方向的网络能够根据需要自行拓展以适应不同的分割任务场景。

Description

一种基于神经网络的轮廓演化分割方法

技术邻域

本发明属于图像分割邻域，特别地涉及一种基于神经网络的轮廓演化以及分割方法。涉及到神经网络的表达能力，与基于轮廓演化的分割策略。

背景技术

图像目标分割与目标识别是计算机视觉与图像处理领域两个基础和重要的任务。变分分割是一种经典的分割方法，其思路是设计一个能量函数，给定一个初始轮廓，然后使用梯度下降方法对能量函数进行优化，使得轮廓进行演化。经过一定时间的迭代，轮廓演化收敛。但是由于能量函数通常是手动设计，需要依赖一定的启发性知识，比如前景区域和背景区域各自内部都是同质的，同颜色、同纹理等。这些手工设计的能量函数限制了区域特征的表达，限定了轮廓演化的方向，因此很多时候这些方法只适用于特定图像和场景。传统变分方法的另一个问题是非常依赖于初始轮廓。如果初始轮廓设置不好，优化问题很可能落入局部最优值。

由于神经网络是个万能逼近模型，所以我们使用神经网络来表达轮廓演化过程，其优点是能够自适应地学习和表达前背景区域的特征，以及轮廓演化过程中的演化方向，并且对初始轮廓不敏感。因此，基于神经网络的轮廓演化分割方法具有更强的鲁棒性和更优的性能。

发明内容

本发明的目的在于提供了一种基于神经网络的轮廓演化分割方法。本方法将轮廓演化分割过程阐释为一个给定初始化的增量更新过程，并方法使用神经网络来学习和表达轮廓演化方向，取代了传统方法中手工设计区域描述函数与演化方向的过程，让轮廓演化能够更加自适应更加鲁棒。

为实现上述目的，本发明的技术方案为：一种基于神经网络的轮廓演化分割方法。该方法为：给定某时刻的演化轮廓，使用神经网络自主自动地学习和表达轮廓的演化方向，并以增量更新的方法完成演化过程：

步骤1：给定RGB图像与对应的分割掩膜真值集合{Iⁱ,mⁱ}_{i＝1,2,…,N}，其中mⁱ∈{0,1}^H×W是二值的，H,W为图像的长宽，i＝1,2,…,N为样本编号，根据数据集规模和任务规模设定用于演化轮廓和估计演化方向的演化方向估计网络f，演化方向估计网络f的输入为演化轮廓φ以及图像I，其输出为当前轮廓的演化方向；

步骤2：对某图像I，设定演化的初始轮廓φ⁰∈(-∞,∞)；

步骤3：将图像数据I和当前轮廓φ^t输入到演化方向估计网络f估计当前的演化方向

其中t为当前迭代次数，首次输入时，t＝0，当前轮廓为初始轮廓φ⁰。

步骤4：确定演化步长Δt，更新当前轮廓

步骤5：重复执行步骤3-4，直到达到迭代次数限制，获得最终演化轮廓φ^T；

步骤6：使用合适的映射函数σ(·)，将最终演化轮廓φ^T∈(-∞,∞)映射到[0,1]范围内，得到预测的分割掩膜q＝σ(φ)，最后将q阈值化得到二值分割结果q_out＝q＞τ，其中τ是阈值；

步骤7：训练演化方向估计网络f时，设定预测的分割掩膜q和掩膜真值m的误差损失

作为网络f的损失函数并进行训练。

步骤8：采集测试图像I_test，并设定该测试图像的初始轮廓φ⁰，将轮廓φ连同图像I_test一起输入到网络f中，按照步骤3-6的方法即可得到测试图像I_test的最终分割结果q_out。

进一步的，所述步骤1中，演化方向估计网络f可以为全连接网络或者卷积神经网络。

进一步的，步骤2中所述的初始轮廓并不限定于特定方法。无论是通过已有模型方法得到的初始轮廓，比如其他的分割模型；或者是任意人工交互手动设计的初始轮廓；或者是符合某种数学表达的初始轮廓，比如棋盘状的初始轮廓，甚至是全0的初始轮廓。

进一步的，步骤2-4中的更新过程可以使用固定演化步长Δt，然后使用循环神经网络来完成演化过程；也可使用已知的微分方程数值方法，如欧拉方法，Runge-Kutta方法以及其他微分方程邻域的数值求解方法，自动确定步长完成演化。

进一步的，步骤6中所使用的映射函数σ(·)只要满足

即可(其中

是实数域)，不限定具体形式，如Sigmoid函数以及阶跃函数。

本发明的有益效果是：

(1)有效以及自适应地表达了轮廓演化过程中的演化方向，使得演化过程不受手工设计方法的约束，能更好地满足各种场景的分割任务；

(2)减弱了初始轮廓对分割结果的不良影响，使得分割过程对初始轮廓不敏感，提高了分割过程的鲁棒性。

附图说明

图1为本发明的流程图；

图2为演化方向估计网络f的结构的结构图；

图3是若干张测试图像的轮廓演化和分割过程，其中从左到右各列为RGB图像，演化迭代次数t＝{0,1,3,5,9,12,15,20}时的轮廓φ(其中红线为前背景的分界线)，最终结果的二值化结果q_out，以及掩膜真值m；这里初始轮廓为全0；

图4～图5为初始轮廓为中央圆形、棋盘圆形的轮廓演化过程。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应该理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述可以完全理解本发明。

参考图1所示为本发明实施例的基于神经网络的轮廓演化分割方法的步骤流程图。

给定训练用数据集{目标图像I_i，目标形状m_i}，测试用目标图像I_test，按照以下方法处理：

1.训练演化方向估计网络

(1.1)基于数据集D₀＝{目标图像I_i，目标形状m_i}，将目标形状进行适当扩充(即数据集增广)，对部分训练形状进行不同程度的位移、形变和旋转，产生更多训练用形状。其与其标签定义为数据集D₁＝{目标图像I_j，训练形状

}。将所有目标形状图片

归一化到64×64大小。

(1.2)设定演化方向估计网络f的结构如图2所示，其中每个块都是特征层，虚线箭头为卷积操作，每个卷积算子之后还经过了一个批归一化层与ReLU激活层，下方数字(n_c，2n_c，1等)为特征通道数。除此之外，还可以采用全连接网络作为演化方向估计网络f。

(1.3)设定初始轮廓为全0，即φ⁰＝0。

(1.4)将轮廓φ连同图像I一起输入到网络f中，获得演化方向

(1.5)使用微分方程邻域中的数值求解方法确定演化步长Δt，然后更新演化轮廓

(1.6)迭代(1.4)-(1.5)直到达到一定次数，获得最终演化结果φ^T，使用映射函数σ(·)将最终演化轮廓φ^T∈(-∞,∞)映射到[0,1]范围内，得到预测的分割掩膜q＝σ(φ)，最后将q阈值化得到二值分割结果q_out＝q＞τ，其中τ是阈值。这里映射函数为Sigmoid函数，即

(1.7)根据分割结果q与分割真值m，定义两者的损失为均方误差

其中x是图像区域坐标，然后对网络f进行训练。

2.对测试图像I_test

(2.1)设定初始轮廓为全0，即φ⁰＝0。

(2.2)将轮廓φ连同图像I_test一起输入到网络f中，获得演化方向

(2.3)使用微分方程邻域中的数值求解方法确定演化步长Δt，然后更新演化轮廓

(2.4)迭代(1.4)-(1.5)直到达到一定次数，获得最终演化结果φ^T，以及掩膜q＝σ(φ)。

(2.5)取阈值τ＝0.5，将q进行二值化后获得最终分割结果q_out。

图3～图5为不同轮廓初始化后得到的轮廓演化和分割结果。需要说明的是，这些图中的网络f是相同的，是以全0初始化进行训练的。各图展示了迭代次数分别为{0,1,3,5,9,12,15,20}次时的演化结果。从这些不同的演化结果来看，本发明的确通过神经网络实现了轮廓演化过程并较准确地完成了分割，并且在不同地初始轮廓下都能将目标分割出来，克服了传统主动轮廓模型对初始轮廓的敏感性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于神经网络的轮廓演化分割方法，其特征在于，该方法包括如下步骤：

步骤1：给定RGB图像与对应的分割掩膜真值集合{Iⁱ，mⁱ}_{i＝1，2，...，N}，其中mⁱ∈{0，1}^H×W是二值的，H，W为图像的长宽，i＝1，2，...，N为样本编号，根据数据集规模和任务规模设定用于演化轮廓和估计演化方向的演化方向估计网络f，演化方向估计网络f的输入为演化轮廓φ以及图像I，输出为当前轮廓的演化方向；

步骤2：对某图像I，设定演化的初始轮廓φ⁰∈(-∞，∞)；

步骤3：将图像I和当前轮廓φ^t输入到演化方向估计网络f估计当前的演化方向

其中t为当前迭代次数，首次输入时，t＝0，当前轮廓为初始轮廓φ⁰；

步骤4：确定演化步长Δt，更新当前轮廓

步骤5：重复执行步骤3-4，直到达到迭代次数限制，获得最终演化轮廓φ^T；

步骤6：使用映射函数σ(·)将最终演化轮廓φ^T∈(-∞，∞)映射到[0，1]范围内，得到预测的分割掩膜q＝σ(φ)，最后将q阈值化得到二值分割结果q_out＝q＞τ，其中τ是阈值；

步骤7：训练演化方向估计网络f时，设定预测的分割掩膜q和掩膜真值m的误差损失

作为网络f的损失函数并进行训练；

步骤8：采集测试图像I_test，并设定该测试图像的初始轮廓φ⁰，将轮廓φ连同图像I_test一起输入到网络f中，按照步骤3-6的方法即可得到测试图像I_test的最终分割结果q_out。

2.根据权利要求1中所述的方法，其特征在于，所述步骤1中，演化方向估计网络f可以为全连接网络或者卷积神经网络。

3.根据权利要求1中所述的方法，其特征在于，所述步骤2中，初始轮廓为通过已有模型方法得到的初始轮廓，或者是任意人工交互手动设计的初始轮廓，或者是符合某种数学表达的初始轮廓。

4.根据权利要求1中所述的方法，其特征在于，所述步骤4中的更新过程可以使用固定演化步长Δt，也可使用微分方程数值方法自动确定步长。

5.根据权利要求1所述的方法，其特征在于，所述步骤6中，映射函数σ(·)满足

其中

是实数域。

Images