CN111145188B - 一种基于ResNet与UNet模型的图像分割方法 - Google Patents

Abstract

本发明公开了一种基于ResNet与UNet模型的图像分割方法，将原始的RGB三通道图像大小进行调整，并对应调整标签图像大小；将调整后的RGB图像作为UNet图像分割模块的输入；将调整后的RGB图像作为ResNet特征提取模块的输入，保留前三层的输出结果替换UNet第三、四、五层的输出结果；得到基于ResNet和UNet的图像分割训练模型，并对模型进行训练；将训练得到的模型参数作为预测模型，进行图像分割。本发明利用ResNet在特征提取方面的优势，提高图像分割的质量，解决单一UNet模型应用于图像分割易产生的特征提取不够准确，区域一致性差，边界模糊的问题。

Description

一种基于ResNet与UNet模型的图像分割方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于ResNet与UNet模型的图像分割方法。

背景技术

图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。图像分割是从图像处理到图像分析的重要步骤，是目标分类和识别的基础。经典的图像分割方法有以下四种：

基于阈值的分割方法：阈值分割方法原理是通过设定不同的特征阈值，把图像像素点分为若干类。首先从原始图像中的灰度或彩色特征按一定的准则找到特征值，将图像分为若干部分。这类方法实现简单、计算量小，但是当原始图像中包含的信息比较复杂时，得到的结果并不准确。

基于区域的分割方法：主要有区域生长方法和区域分裂与合并方法两种。区域生长是根据事先定义的标准将像素或者子区域聚合成更大区域的过程，从一个或若干个生长点开始，将与该生长点性质相似的相邻像素或者区域生长点合并，形成新的生长点，重复此过程直到无法继续更新为止。生长点和相邻区域的相似性判据可以是灰度值、纹理或者颜色等信息。区域分裂与合并是将图像分割为一系列任意且不相交的区域，然后对它们进行合并或者拆分操作以满足限制条件。通过分裂将不同特征的区域分开，通过合并将相似特征的区域融合。区域生长方法对噪声敏感，在图像较大时速度较慢，且需要人为确定生长点。区域分裂合并算法计算量较大，在分裂时可能破坏区域的边界，影响分割结果。

基于边缘检测的分割方法：这种方法首先确定图像中的边缘像素，再把这些像素连接在一起构成所需的区域边界，图像边缘可以理解为图像灰度发生空间突变的像素的集合。基于边缘检测的分割受图像噪声或图像中复杂信息影响，经常会在没有边界的地方检测到边缘或在实际存在边缘的地方没有检测到边缘。

基于深度学习和卷积神经网络的图像分割方法：首先使用深度学习进行了图像语义分割，提出了全卷积网络，将全连接网络替换成为卷积网络，并且使用反卷积层，使网络可以接受任意大小的图片输出和原图大小相同的分割图像，采用全局金字塔池化，将特征图缩放到几个不同的的尺寸，使图像特征具有更好的全局信息和多尺度信息，现有一种与全卷积网络完全不同的特征融合方式，通过拼接的方法，将图像特征在每一层进行拼接，将图像特征用于重建图像，虽然卷积神经网络在简单的图像分割问题上取得了一些成效，但在复杂的图像分割问题上效果并不尽如人意，而UNet在面对复杂的图像时也取得了不错的效果。图像的特征提取是图像分割的一个重要步骤，直接影响到图像分割的最终结果。UNet在特征的提取方面直接采用卷积网络，因此在特征提取时的精度会有所下降。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于ResNet与UNet模型的图像分割方法，利用ResNet在特征提取方面的优势，提高图像分割的质量，解决单一UNet模型应用于图像分割易产生的特征提取不够准确，区域一致性差，边界模糊的问题。

本发明采用以下技术方案：

一种基于ResNet与UNet模型的图像分割方法，包括以下步骤：

S1、将原始的RGB三通道图像大小进行调整，并对应调整标签图像大小；

S2、将步骤S1调整后的RGB图像作为UNet图像分割模块的输入；

S3、将步骤S1调整后的RGB图像作为ResNet特征提取模块的输入，保留前三层的输出结果替换UNet第三、四、五层的输出结果，得到基于ResNet和UNet的图像分割训练模型，并对模型进行训练；

S4、将训练得到的模型参数作为预测模型，进行图像分割。

具体的，步骤S1中，RGB三通道图像大小调整为400×320×3，对应的标签图像大小调整为400×320×1。

具体的，步骤S2具体为：

S201、设置卷积核大小为3×3，步长为1的卷积层；

S202、设置卷积核大小为2×2的池化层；

S203、设置卷积核大小为2×2，步长为2的反卷积层；

S204、将调整后的RGB图像作为输入，进行下采样操作后每一层的大小分别为：400×320×64，200×160×128，100×80×256，50×40×512，25×20×1024；

S205、进行上采样操作，并将每一层大小相同的输出进行拼接，之后进行卷积操作，

S206、对最后一层进行卷积操作，使用sigmoid激活函数得到大小为400×320×1的输出，与标签图像大小一致。

进一步的，步骤S205中，上采样操作后每一层的大小分别为：50×40×512，100×80×256，200×160×128，400×320×64。

具体的，步骤S3具体为：

S301、设置残差网络，通过残差的方式将输入与输出相加得到新的输出；

S302、加载训练好的ResNet模型参数；

S303、将调整后的RGB三通道图像作为ResNet网络的输入；

S304、将前三层的输出保留，替换UNet中相同大小的输出，分别为UNet第三、四、五层的输出。

进一步的，步骤S303中，输入图像大小为：400×320×64，得到前三层的输出大小分别为：100×80×256，50×40×512，25×20×1024。

具体的，步骤S4中，输出结果的大小与标签图像的大小一致。

具体的，步骤S4中，训练次数为100。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于ResNet与UNet模型的图像分割方法，利用UNet作为图像分割模块，有效地利用了图像的特征信息进行图像重建；利用ResNet作为图像特征提取模块，加深网络层数，有效地提取了更为准确的图像特征；采用了ResNet模块，可以使用预训练的ResNet模型帮助训练，使训练的次数变少，加快训练速度。

进一步的，为了使训练数据满足模型要求，对训练数据的图像和标签进行统一的图像大小调整，使其大小满足是16的整数倍条件。

进一步的，使用UNet模型进行图像分割，利用UNet模型的多尺度融合预测特性，可以得到边缘信息更为精细的分割结果。

进一步的，使用ResNet模型进行图像特征提取，并替换UNet模型的图像提取部分。UNet在特征提取时直接使用简单的卷积网络，特征提取时的精度不如ResNet，且ResNet的预训练模型可以帮助减少训练时间，并使最终的图像分割结果效果更好。

进一步的，将ResNet和UNet结合的模型进行训练，得到最终的图像分割模型。

综上所述，本发明融合了ResNet模型和UNet模型各自的优点，得到了一种效果更佳的图像分割方法。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的流程示意图；

图2为本发明在一幅两类简单地物背景SAR图像上的仿真结果图；

图3为本发明在一幅两类简单背景图像上的分割结果图，其中，(a)为两类简单背景的自然图像，(b)为只使用UNet方法对图(a)进行分割得到的结果，(c)为本发明方法对图(a)进行分割得到的结果；

图4为本发明在一幅两类复杂背景图像上的分割结果图，其中，(a)为两类复杂背景的自然图像，(b)为只使用UNet方法对图(a)进行分割得到的结果，(c)为本发明方法对图(a)进行分割得到的结果。

具体实施方式

本发明提供了一种基于ResNet与UNet模型的图像分割方法，通过调整原始RGB图像及对应标签的大小；将RGB图像输入到UNet模型进行训练；将RGB图像输入到ResNet模型，保留前三层输出替换UNet第三、四、五层的输出；将最终的训练结果作为分割模型，进行图像分割。本发明具有特征提取准确，分割结果区域一致性好，保留信息完整的有点，可用于图像分割及目标识别。

ResNet是一种图像特征提取网络，利用残差的思想，可以使网络能够在深度增加的情况下保持准确率的持续增长，广泛应用于分类等任务；UNet网络是一种图像分割网络，最初应用于医学图像分割，它进行4次下采样和4次上采样，并在上采样时进行多尺度融合，得到的分割结果较为精细。但是UNet模型针对背景较为单一的医学图像，因此使用简单的卷积网络进行图像特征提取即可，而对复杂图像进行特征提取时，简单的卷积网络往往不能达到要求。

请参阅图1，本发明一种基于ResNet与UNet模型的图像分割方法，包括以下步骤：

S1、将原始的RGB三通道图像大小调整为400×320×3，对应的标签图像大小调整为400×320×1；

原始的RGB三通道图像大小为400×300×3或300×400×3，分别对应大小为400×300×1或300×400×1的标签图像。为了在训练过程中的一致性，以及在卷积和池化过程中满足图像大小的要求，将RGB三通道图像大小调整为400×320×3，对应的标签图像大小调整为400×320×1。

S2、将调整后的RGB图像作为UNet图像分割模块的输入；

实现该步骤的具体过程如下：

S201、设置卷积核大小为3×3，步长为1的卷积层；

S202、设置卷积核大小为2×2的池化层；

S203、设置卷积核大小为2×2，步长为2的反卷积层；

S204、将调整后的RGB图像作为输入，进行下采样操作后每一层的大小分别为：400×320×64，200×160×128，100×80×256，50×40×512，25×20×1024；

S205、进行上采样操作，并将每一层大小相同的输出进行拼接，之后进行卷积操作。上采样操作后每一层的大小分别为：50×40×512，100×80×256，200×160×128，400×320×64；

S206、对最后一层进行卷积操作，使用sigmoid激活函数得到大小为400×320×1的输出，与标签图像大小一致。

S3、将调整后的RGB图像作为ResNet特征提取模块的输入，保留前三层的输出结果替换UNet第三、四、五层的输出结果，得到基于ResNet和UNet的图像分割训练模型，并对模型进行训练；

S301、设置残差网络，通过残差的方式将输入与输出相加得到新的输出；

S302、加载已经训练好的ResNet模型参数；

S303、将调整后的RGB三通道图像作为ResNet网络的输入，输入图像大小为：400×320×64，得到前三层的输出大小分别为：100×80×256，50×40×512，25×20×1024；

S304、将前三层的输出保留，替换UNet中相同大小的输出，分别为UNet第三、四、五层的输出，得到基于ResNet和UNet的图像分割训练模型，并对模型进行训练。

S4、将训练得到的模型参数作为预测模型，进行图像分割。

输出结果的大小为400×320×1，与标签图像的大小一致。因此使用交叉熵函数进行训练，使损失值达到最小。训练100代以后，损失值基本稳定。此时的训练模型可以进行图像分割。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

仿真实验

应用本发明方法和只使用UNet方法，分别对两幅图像进行分割实验，并从分割结果的准确性，细节信息的完整性和边缘边界的清晰性评价这些方法的各自性能。

仿真实验结果

A两类简单背景图像的实验结果

采用本发明方法以及UNet方法，对两类简单背景图像进行分割，其结果比较如图3所示。其中图3(a)为两类简单背景的自然图像，该图像纹理信息较为单调，背景组成简单；图3(b)为只使用UNet方法对图3(a)进行分割得到的结果；图3(c)为本发明方法对图3(a)进行分割得到的结果。由图3可见，本发明的区域一致性较好，边缘清晰细节信息完整。相比之下，只使用UNet方法分割区域轮廓辨析能力不好。这一现象很大程度上是由于UNet网络结构过于简单导致的。

B两类复杂背景图像的实验结果

采用本发明方法以及UNet方法，对两类复杂背景图像进行分割，其结果比较如图4所示。其中图4(a)为两类复杂背景的自然图像，背景组成较为复杂；图4(b)为只使用UNet方法对图4(a)进行分割得到的结果；图4(c)为本发明方法对图4(a)进行分割得到的结果。由图4可见，本发明对于细节信息的保留比较清晰准确，且边界光滑连续，边缘清晰细节信息完整，对只使用UNet方法出现的边缘毛刺和区域一致性差的现象有明显的改善。

通过仿真结果表明，本发明方法较使用UNet作为图像分割模型能更有效地进行图像分割。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (4)

1.一种基于ResNet与UNet模型的图像分割方法，其特征在于，包括以下步骤：

S1、将原始的RGB三通道图像大小进行调整，并对应调整标签图像大小；

S2、将步骤S1调整后的RGB图像作为UNet图像分割模块的输入，具体为：

S201、设置卷积核大小为3×3，步长为1的卷积层；

S202、设置卷积核大小为2×2的池化层；

S203、设置卷积核大小为2×2，步长为2的反卷积层；

S204、将调整后的RGB图像作为输入，进行下采样操作后每一层的大小分别为：400×320×64，200×160×128，100×80×256，50×40×512，25×20×1024；

S205、进行上采样操作，并将每一层大小相同的输出进行拼接，之后进行卷积操作，上采样操作后每一层的大小分别为：50×40×512，100×80×256，200×160×128，400×320×64；

S206、对最后一层进行卷积操作，使用sigmoid激活函数得到大小为400×320×1的输出，与标签图像大小一致；

S3、将步骤S1调整后的RGB图像作为ResNet特征提取模块的输入，保留前三层的输出结果替换UNet第三、四、五层的输出结果，得到基于ResNet和UNet的图像分割训练模型，并对模型进行训练，具体为：

S301、设置残差网络，通过残差的方式将输入与输出相加得到新的输出；

S302、加载训练好的ResNet模型参数；

S303、将调整后的RGB三通道图像作为ResNet模型的输入，输入图像大小为：400×320×64，得到前三层的输出大小分别为：100×80×256，50×40×512，25×20×1024；

S304、将ResNet模型前三层的输出保留，替换UNet第三层、第四层、第五层的输出；

S4、将训练得到的模型参数作为预测模型，进行图像分割。

2.根据权利要求1所述的基于ResNet与UNet模型的图像分割方法，其特征在于，步骤S1中，RGB三通道图像大小调整为400×320×3，对应的标签图像大小调整为400×320×1。

3.根据权利要求1所述的基于ResNet与UNet模型的图像分割方法，其特征在于，步骤S4中，输出结果的大小与标签图像的大小一致。

4.根据权利要求1所述的基于ResNet与UNet模型的图像分割方法，其特征在于，步骤S4中，训练次数为100。

Images