CN111598892A - 一种基于Res2-UNeXt网络结构的细胞图像分割方法 - Google Patents

Abstract

一种基于Res2‑UNeXt网络结构的细胞图像分割方法，先对网络结构进行设计，根据细胞图像的特征，设计出合适且有效的网络；在U‑Net网络中加入了残差结构和多尺度卷积方法，分割过程为：利用训练图像的标签图来得出计算Loss所需的权值图；将原始的训练数据集输入进Res2‑NeXt网络，根据计算出的损失来更新网络的参数。不断迭代训练，直到网络预测的精度可以达到一个稳定的水平；利用已经训练好的网络来预测，输入新的数据就能得到一张细胞的分割图。本发明提出了一个多尺度的网络结构Res2‑UNeXt；能更好地获取粗粒度和细粒度的信息，从而提高了本方法分割的性能。

Description

一种基于Res2-UNeXt网络结构的细胞图像分割方法

技术领域

本发明属于图像处理领域，是一种多尺度的端到端的(细胞)图像分割方法。

背景技术

图像分割的目的是将图像分割成几个特定的、独特的区域并提取出感兴趣的对象。这是图像处理到图像分析是一个关键的步骤。随着医学图像分割技术的发展，不仅促进了图像可视化、三维重建等医学图像处理相关技术的发展，而且在生物医学图像分析中发挥着极其重要的作用。近年来，由于深度学习算法在医学图像分割中的应用，医学图像分割技术取得了巨大的进步。

基于分片架构的深度神经网络是一种较简单分割方法，它在每个像素周围选择带有该像素的标签的小块来训练网络。但是这个方法用一个分片的数据仅仅只代表整个图像中一个像素的标签，这导致该方法通常需要花费很长时间来训练一个完美的模型。

基于编解码器网络的方法例如U-Net和FCN等编解码器结构极大的提高了图像语义分割的精度。全卷积网络(FCN)是一个具有里程碑意义的分水岭，它接受任意大小的输入，并通过有效的推理和学习产生相同大小的输出。同时，他们将之前的分类网络改造成完全卷积的网络，并将迁移学习应用到分割任务中。Chen 提出的Deeplab模型首次证明锚卷积在语义分割中的重要性。为了平滑最终的分割图的边缘，Deeplab还使用了条件随机域(CRF)作为后处理步骤。此后， Ronneberger提出了U-Net架构来分割生物医学图像。它通过从较小尺寸的特征逐步向上采样到原始图像的尺寸来实现了编解码网络结构。在U-Net之后，许多 U-Net的变体结构被提出。TernausNet用VGG11编码器取代了U-Net编码器，并获得了Kaggle Carvana图像分割挑战的冠军。UNet++设计了一个具有密集跳跃连接的嵌套U-Net体系结构。此外，受到残差连接和稠密连接的启发，Res-UNet和 dense-UNet使用残差连接和稠密连接来代替U-Net的block。但是所有这些变体基本都没有关注网络多尺度信息获取的能力。而医学图像分割恰恰需要较高的精度并且医学图像分割的目标通常也是多尺度的，例如细胞图像中的细胞大小不同。因此，一个优秀的医学图像分割模型必须有能力较好获得粗粒度和细粒度的信息。换句话说，这个模型必须是一个多尺度的架构。Gao等人提出了一种新的多尺度骨干结构，称为Res2Net。它在图像分割和目标检测方面具有较好的性能。以这个架构为灵感，将Res2Net骨架结构嵌入到U-Net架构中，命名为Res2-UNeXt。

发明内容

为了弥补众多图像分割网络无法较好的获取多尺度信息的不足，本发明在 U-Net中加入了一个新的多尺度网络骨架结构——Res2Net并提出了一个多尺度的网络结构Res2-UNeXt。该结构能更好地获取粗粒度和细粒度的信息，从而提高了本方法分割的性能。

为了解决上述技术问题本发明提供如下的技术方案：

一种基于Res2-UNeXt网络结构的细胞图像分割方法，所述方法包括以下步骤：

S1.建立网络模型Res2-UNeXt:

所述网络模型Res2-UneXt中，选择U-Net这个编解码模型作为网络的基本骨架结构，融合了组卷积和残差结构的ResNeXt模型，并在ResNeXt中添加了一个分层结构，即Res2Net，该结构在网络中提出了一个新的维度，即尺度；

S2.网络架构设计细节：

在Res2-UNeXt中，解码器部分由6个Res2XBlock组成，编码器由4个 Res2Xblock组成；

Res2-UNeXt网络是由修改过的残差块Res2Xblock连接而成，连接的方法参考了U-Net的长连接方法，在每个Res2Xblock中，使用了一个3×3的卷积层来初始化上一层传递下来的特征图，紧接着的就是Res2NeXt结构块，它将特征图平均分成4个子块，分别用x_i，i∈{1,2,3,4}来表示，每个子特征图的空间尺寸大小是一样的，但是通道数是输入特征的1/4，除了x₁子特征图，其余每个子特征图都要进行相应的3×3组卷积，卷积的过程用M_i()表示，其结果用y_i表示。并且x_i在进行卷积操作前要与y_i-1进行融合操作，y_i的公式写成：

由公式可以看出，每次卷积前输入的特征图都融合了所有之前子特征图的信息。以及每次卷积操作后，其感受野也会不断的扩大，综合这些影响，那些特征图经过Res2Xblock后，其特征就包含多感受野的信息，即多尺度信息；

在网络的解码部分，每个残差块输出的结果都要用步长为2的最大化池层进行下采样，该操作可以进一步的扩大感受野和减少网络的参数，在网络的编码部分，每次残差块后需要进行上采样来恢复尺度，并融合对应的解码网络的特征来弥补网络在下采样过程中所造成的特征损失；

S3.损失函数：

网络的损失函数使用了最后一层的特征图和细胞的实际分割标注图进行像素级的交叉熵损失，损失函数写成：

其中x为标注图上的任意一点，p_λ(x)(x)为当前x点的soft-max的计算值，λ(x) 为当前点的真实便签，w为计算的权值图；

预先计算每个标签的权值图，以补偿训练数据集中某个类的不同像素频率所引起的类间不平衡问题，并且使网络在计算损失时可以更关注于相近细胞边缘部分的分割效果；只给出相近但是不接触细胞之间的区域赋予高权值，权值w的计算公式为：

其中w_cb是为了应对类间不平衡的权值，dist₁(x)为当前像素点离最近的细胞的距离，dist₂(x)为当前像素点离第二近的细胞的距离，w₀和σ²为超参数；

S4.网络的训练和图像分割的测试

利用训练图像的标签图来得出计算Loss所需的权值图，然后将原始的训练数据集输入进Res2-NeXt网络，根据计算出的损失来更新网络的参数，不断迭代训练，直到网络预测的精度可以达到一个稳定的水平，再利用已经训练好的网络来预测，输入新的细胞图像数据就能得到一张细胞的分割图。

本发明的有益效果为：能够有效的获取分割图像的多尺度信息，从而提高了细胞分割的精度。

附图说明

图1是Res2-UNeXt的整体网络框架图

图2是Res2netBlock的网络框架图

图3是权值对比图

图4是基于Res2-UNeXt网络结构的(细胞)图像分割方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种基于Res2-UNeXt网络结构的(细胞)图像分割方法，包括以下步骤：

S1.建立网络模型Res2-UNeXt

本发明的网络模型Res2-UNeXt包含了以下3个部分：

1.选择U-Net这个编解码模型作为网络的基本骨架结构。U-Net是一种简单但是有效的图像分割模型，其扩展性非常好，所以是基本骨架的合适之选。

2.为了保证在深度神经网络的训练过程中的稳定性，融合了组卷积和残差结构的ResNeXt模型是一个很好的选择。残差结构能够很大尺度上消除了深度神经网络结构中存在的梯度消失和梯度爆炸问题。组卷积能够使得网络能获取更好的特征。

3.为了能够更好的理解多尺度信息，本发明在ResNeXt中添加了一个分层结构，即Res2Net。它在网络中提出了一个新的维度。即尺度，这是除了现有的深度，宽度和基数维度之外的一个重要且有效的因素。这个维度可以在更细粒度水平上提高卷积神经网络的多尺度特征提取的能力。

S2.网络架构设计细节：

在Res2-UNeXt中，解码器部分由6个Res2XBlock组成，编码器由4个 Res2Xblock组成，下面将详细介绍Res2-UNeXt的细节架构。

Res2-UNeXt网络是由修改过的残差块(Res2Xblock)连接而成(如图1所示)，连接的方法参考了U-Net的长连接方法，在每个Res2Xblock中，使用了一个3×3 的卷积层来初始化上一层传递下来的特征图。紧接着的就是Res2NeXt结构块(如图2所示)，它将特征图平均分成4个子块，分别用x_i，i∈{1,2,3,4}来表示。每个子特征图的空间尺寸大小是一样的，但是通道数是输入特征的1/4。除了x₁子特征图，其余每个子特征图都要进行相应的3×3组卷积，卷积的过程用M_i()表示，其结果用y_i表示。并且x_i在进行卷积操作前要与y_i-1进行融合操作；为了减少参数，取消了对x₁子特征图的卷积操作，因此y_i的公式写成：

由公式可以看出，每次卷积前输入的特征图都融合了所有之前子特征图的信息，以及每次卷积操作后，其感受野也会不断的扩大，综合这些影响，那些特征图经过Res2Xblock后，其特征就包含多感受野的信息，即多尺度信息。

在网络的解码部分，每个残差块输出的结果都要用步长为2的最大化池层进行下采样，这可以进一步的扩大感受野和减少网络的参数。在网络的编码部分，每次残差块后需要进行上采样来恢复尺度，并融合(长连接)对应的解码网络的特征来弥补网络在下采样过程中所造成的特征损失。

S3.损失函数：

网络的损失函数使用了最后一层的特征图和细胞的实际分割标注图进行像素级的交叉熵损失，损失函数写成：

其中x为标注图上的任意一点，p_λ(x)(x)为当前x点的soft-max的计算值，λ(x) 为当前点的真实便签，w为计算的权值图。

预先计算每个标签的权值图，以补偿训练数据集中某个类的不同像素频率所引起的类间不平衡问题，并且使网络在计算损失时可以更关注于相近细胞边缘部分的分割效果。但是权值图与U-Net中提出的权值图不同(见图4)，任务是语义分割而不是实例分割，赋予每个接触细胞之间的区域较高的权值会使模型的分割能力变差，因此，只给出相近但是不接触细胞之间的区域赋予高权值。以此，也不需要使用腐蚀操作来获得接触细胞之间的分离边界(图4)，权值w的计算公式为：

其中w_cb是为了应对类间不平衡的权值，dist₁(x)为当前像素点离最近的细胞的距离，dist₂(x)为当前像素点离第二近的细胞的距离，w₀和σ²为超参数，分别设置为9和25。

S4.网络的训练和图像分割的测试

如图4所示：利用训练图像的标签图来得出计算Loss所需的权值图，然后将原始的训练数据集输入进Res2-NeXt网络，根据计算出的损失来更新网络的参数。不断迭代训练，直到网络预测的精度可以达到一个稳定的水平，再利用已经训练好的网络来预测，输入新的细胞图像数据(即测试数据)，就能得到一张细胞的分割图，如图1模型最右端所示。

Claims (1)

1.一种基于Res2-UNeXt网络结构的细胞图像分割方法，所述方法包括以下步骤：

S1.建立网络模型Res2-UNeXt：

所述网络模型Res2-UneXt中，选择U-Net这个编解码模型作为网络的基本骨架结构，融合了组卷积和残差结构的ResNeXt模型，并在ResNeXt中添加了一个分层结构，即Res2Net，该结构在深度神经网络中提出了一个新的维度，即尺度；

S2.网络架构设计细节：

在Res2-UNeXt中，解码器部分由6个Res2XBlock组成，编码器由4个Res2Xblock组成；

Res2-UNeXt网络是由修改过的残差块Res2Xblock连接而成，连接的方法参考了U-Net的长连接方法，在每个Res2Xblock中，本方法使用了一个3×3的卷积层来初始化上一层传递下来的特征图，紧接着的是Res2NeXt结构块，它将特征图平均分成4个子块，分别用x_i，i∈{1,2,3,4}来表示，每个子特征图的空间尺寸大小是一样的，但是通道数是输入特征的1/4，除了x₁子特征图，其余每个子特征图都要进行相应的3×3组卷积，卷积的过程用M_i()表示，其结果用y_i表示。并且x_i在进行卷积操作前要与y_i-1进行融合操作，y_i的公式写成：

由公式可以看出，每次卷积前输入的特征图都融合了所有之前子特征图的信息。以及每次卷积操作后，其感受野也会不断的扩大，综合这些影响，那些特征图经过Res2Xblock后，其特征就包含多感受野的信息，即多尺度信息；

在网络的解码部分，每个残差块输出的结果都要用步长为2的最大化池层进行下采样，这可以进一步的扩大感受野和减少网络的参数，在网络的编码部分，每次残差块后需要进行上采样来恢复尺度，并融合对应的解码网络的特征来弥补网络在下采样过程中所造成的特征损失；

S3.损失函数：

网络的损失函数使用了最后一层的特征图和细胞的实际分割标注图进行像素级的交叉熵损失，损失函数写成：

其中x为标注图上的任意一点，p_λ(x)(x)为当前x点的soft-max的计算值，λ(x)为当前点的真实便签，w为计算的权值图；

本方法预先计算每个标签的权值图，以补偿训练数据集中某个类的不同像素频率所引起的类间不平衡问题，并且使网络在计算损失时可以更关注于相近细胞边缘部分的分割效果；本方法只给出相近但是不接触细胞之间的区域赋予高权值，权值w的计算公式为：

其中w_cb是为了应对类间不平衡的权值，dist₁(x)为当前像素点离最近的细胞的距离，dist₂(x)为当前像素点离第二近的细胞的距离，w₀和σ²为超参数；

S4.网络的训练和图像分割的测试

利用训练图像的标签图来得出计算Loss所需的权值图，然后将原始的训练数据集输入进Res2-NeXt网络，根据计算出的损失来更新网络的参数，不断迭代训练，直到网络预测的精度可以达到一个稳定的水平，再利用已经训练好的网络来预测，输入新的细胞图像数据就能得到一张细胞的分割图。

Images