CN107945185A - 基于宽残差金字塔池化网络的图像分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于宽残差金字塔池化网络的图像分割方法及系统，其中，方法步骤包括：输入待分割图像；对待分割图像进行标准化；获取WRN‑PPNet模型；对训练图像进行预处理，并通过数据扩展法增加训练图像的模式和数量，得到训练图像集；根据WRN‑PPNet模型和训练图像集进行模型训练，以生成WRN‑PPNet分割模型；根据待分割图像通过WRN‑PPNet分割模型得到图像分割结果。该方法可以基于WRN‑PPNet全自动地对图像进行分割，实现对目标对象分割的目的，不受待分割图像类别的限制，而且适应性强，模型性能好，从而有效提高图像分割的准确性和便捷性。

Description

基于宽残差金字塔池化网络的图像分割方法及系统

技术领域

本发明涉及图像处理和计算机视觉技术领域，特别设计一种基于宽残差金字塔池化网络的图像分割方法及系统。

背景技术

相关技术中，FCN(fully convolutional network，全卷积网络)开启了深度学习做图像语义分割的大门，此后的图像语义分割深度学习模型多是基于FCN做了一些改进。FCN是利用现存的CNNs(convolutional neural networks，卷积网络)做视觉模型，学习分层特征，再将分类网络最后的全连接层改为全卷积层，然后输出特征图，以取代分类得分，最后对这些特征图做反卷积，来产生稠密像素级标记的输出图。这种网络模型实现了用CNNs端到端地解决视觉问题。但是FCN缺少不同的特征感知，不能在具体问题和场景中很好的应用，因为它本身存在的空间不变性，使得它不能考虑上下文信息，不能感知实例等等。针对FCN的种种缺陷，研究者们提出了很多改进方法，大致包括：解码变种、整合上下文信息、条件随机场、膨胀卷积、多尺度聚合、特征融合以及递归神经网络。解码变种的方法中比较典型的是SegNet，它包含了编码器(卷积网络)和解码器(反卷积网络)两部分，相对于普通的全卷积网络，它是通过解码网络实现对低分辨率的特征图的处理；整合上下文信息的方法有PSPNet(pyramid scene parsing network，金字塔场景解析网络)，该方法主要是在网络中使用了PPNet模块；此外还有用CRF(conditional random fields，条件随机场)做后期处理，以提高模型捕捉细节的能力；使用膨胀卷积，通过增大卷积核的步伐做卷积，以获得更宽的接受域等等。

然而，上述提到的模型均是针对具体的语义分割问题，在FCN的基础上做的不同程度的改进，并没有哪一种模型能很好的用于解决更多不同的图像语义分割问题，所以用于图像语义分割的深度学习网络模型结构还有很大的探索空间。相关技术中，传统分割方法是提取合适的特征，再根据特征分割，但是这类方法只能提取浅层特征，且操作复杂，适用性不强，难以普及。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于宽残差金字塔池化网络的图像分割方法，该方法适用性强，模型性能好，具有鲁棒性，使分割不但更加便捷、有效，而且操作简单且性能更好，从而有效提高图像分割的精准性和便捷性。

本发明的另一个目的在于提出一种基于宽残差金字塔池化网络的图像分割系统。

为达到上述目的，本发明一方面实施例提出了一种基于宽残差金字塔池化网络的图像分割方法，包括以下步骤：输入待分割图像；对所述待分割图像进行标准化，以使所述待分割图像的像素均值为0且方差为1；获取WRN-PPNet(wide ResNet and pyramidpooling network，宽残差金字塔池化网络)模型，其中，所述WRN-PPNet模型包括WRN模块和PPNet模块，且所述WRN模块提取的特征与所述PPNet模块提取的特征相融合；对训练图像进行预处理，以使所述训练图像的像素均值为0且方差为1，且使得分割对象的像素标签为1且其余部分像素标签为0，并通过数据扩展法增加所述训练图像的模式和数量，得到训练图像集；根据所述WRN-PPNet模型和所述训练图像集进行模型训练，以生成WRN-PPNet分割模型；根据所述待分割图像通过所述WRN-PPNet分割模型得到图像分割结果。

本发明实施例的基于宽残差金字塔池化网络的图像分割方法，可以通过深度残差网络理论和深度学习网络模型训练方法获得基于WRN-PPNet的图像分割模型，从而可以实现端到端的分割任务，且可以用于全自动地对图像进行分割，且不受待分割图像类别的限制，适用性强，模型性能好，具有鲁棒性，使分割不但更加便捷、有效，而且操作简单且性能更好，从而有效提高图像分割的精准性和便捷性。

另外，根据本发明上述实施例的基于宽残差金字塔池化网络的图像分割方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述WRN模块包括第一宽残差块组、第二宽残差块组和第三宽残差块组，所述第一宽残差块组、所述第二宽残差块组和所述第三宽残差块组均包含四个宽残差块，每个宽残差块包含两个卷积层，卷积核大小均为3*3，且在每个卷积层之前均有一个批标准化BN(batch normalization，批标准化)层，且所述第一宽残差块组中，每个宽残差块输出的特征图FMs(feature maps，特征图)的尺寸与其输入的FMs的尺寸相等，第二宽残差块组和第三宽残差块组中，第一个宽残差块输出的FMs的尺寸是其输入的FMs尺寸的二分之一，其余宽残差块输出的FMs的尺寸等于其输入的FMs的尺寸。

进一步地，在本发明的一个实施例中，所述PPNet模块包括第一池化通路、第二池化通路和第三池化通路，所述第一池化通路的池化窗口大小为4*4，所述第二池化通路的池化窗口大小为2*2，所述第三池化通路的池化窗口大小为1*1，且池化方式均为平均池化。

进一步地，在本发明的一个实施例中，所述获取宽残差金字塔池化网络WRN-PPNet模型，进一步包括：在所述PPNet模块中的池化通路上作反卷积操作，其中，在所述第一池化通路上作两次反卷积操作，并且在所述第二池化通路上作一次反卷积操作，以及在所述第三池化通路上有两个卷积层，且每个反卷积层之前均有两个卷积层，卷积核大小均为3*3。

进一步地，在本发明的一个实施例中，上述方法还包括：通过串联的方式，在模型做分割之前第二次将原输入图像引入所述WRN-PPNet模型，使用两个卷积核为3*3的卷积层获得模型生成特征与原输入图像的超本地化特征的优化组合。

为达到上述目的，本发明另一方面实施例提出了一种基于宽残差金字塔池化网络的图像分割系统，包括：输入模块，用于输入待分割图像；第一预处理模块，用于对所述待分割图像进行标准化，以使所述待分割图像的像素均值为0且方差为1；获取模块，用于获取WRN-PPNet模型，其中，所述WRN-PPNet模型包括WRN模块和PPNet模块，且所述WRN模块提取的特征与所述PPNet模块提取的特征相融合；第二预处理模块，用于对训练图像进行预处理，以使所述训练图像的像素均值为0且方差为1，且使得分割对象的像素标签为1且其余部分像素标签为0，并通过数据扩展法增加所述训练图像的模式和数量，得到训练图像集；训练模块，用于根据所述WRN-PPNet模型和所述训练图像集进行模型训练，以生成WRN-PPNet分割模型；分割模块，用于根据所述待分割图像通过所述WRN-PPNet分割模型得到图像分割结果。

本发明实施例的基于宽残差金字塔池化网络的图像分割系统，可以通过深度残差网络理论和深度学习网络模型训练方法获得基于WRN-PPNet的图像分割模型，从而可以实现端到端的分割任务，且可以用于全自动地对图像进行分割，且不受待分割图像类别的限制，适用性强，模型性能好，具有鲁棒性，使分割不但更加便捷、有效，而且操作简单且性能更好，从而有效提高图像分割的精准性和便捷性。

另外，根据本发明上述实施例的基于宽残差金字塔池化网络的图像分割系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述WRN模块包括第一宽残差块组、第二宽残差块组和第三宽残差块组，所述第一宽残差块组、所述第二宽残差块组和所述第三宽残差块组均包含四个宽残差块，每个宽残差块包含两个卷积层，卷积核大小均为3*3，且在每个卷积层之前均有一个批标准化BN层，且所述第一宽残差块组中，每个宽残差块输出的特征图FMs的尺寸与其输入的FMs的尺寸相等，第二宽残差块组和第三宽残差块组中，第一个宽残差块输出FMs的尺寸是其输入的FMs尺寸的二分之一，其余宽残差块输出的FMs的尺寸等于其输入的FMs的尺寸。

进一步地，在本发明的一个实施例中，所述PPNet模块包括第一池化通路、第二池化通路和第三池化通路，所述第一池化通路的池化窗口大小为4*4，所述第二池化通路的池化窗口大小为2*2，所述第三池化通路的池化窗口大小为1*1，且池化方式均为平均池化。

进一步地，在本发明的一个实施例中，在所述PPNet模块中的池化通路上作反卷积操作，其中，在所述第一池化通路上作两次反卷积操作，并且在所述第二池化通路上作一次反卷积操作，以及在所述第三池化通路上有两个卷积层，且每个反卷积层之前均有两个卷积层，卷积核大小均为3*3。

进一步地，在本发明的一个实施例中，通过串联的方式，在模型做分割之前，第二次将原输入图像引入所述WRN-PPNet模型，使用两个卷积核为3*3的卷积层获得模型生成特征与原输入图像的超本地化特征的优化组合。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于宽残差金字塔池化网络的图像分割方法的流程图；

图2为根据本发明另一个实施例的基于宽残差金字塔池化网络的图像分割方法的流程图；

图3为根据本发明一个实施例的不同背景下的动物图片示意图；

图4为根据本发明一个实施例的不同种类动物图片示意图；

图5为根据本发明一个实施例的WRN-PPNet模型框架示意图；

图6为根据本发明一个实施例的WRN模块结构示意图；

图7为根据本发明一个实施例的宽残差块的结构示意图；

图8为根据本发明一个实施例的PPNet模块结构示意图；

图9为根据本发明一个实施例的WRN-PPNet最后一部分结构示意图；

图10为根据本发明一个实施例的基于宽残差金字塔池化网络的图像分割系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在介绍基于宽残差金字塔池化网络的图像分割方法及装置之前，先简单介绍一下传统得图像分割方法以及深度学习网络在图像分割方面的重要性。

目前，图像分割领域的常用分割算法大致包括如下几类：基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法、图割方法、基于深度信息的分割方法，以及基于先验信息的分割方法。其中，基于阈值的分割方法是提取目标对象与背景之间在灰度值上的差异，通过一个或几个阈值，将整个灰度范围分为两段或者多段，从而分割出目标对象部分和背景部分；基于边缘的分割方法是利用不同图像区域间的不同性质，通过边缘检测的方法将目标对象所在的区域提取出来；基于区域的分割方法是根据同一物体区域内像素的相似性质来聚集像素点，构成区域；图割方法是一种交互式的分割方法，它首先需要用户以某种交互手段指定图像的部分前景和部分背景，然后算法以用户的输入作为分割的约束条件，自动地计算出满足约束条件下的分割；基于深度信息的分割方法需要抽取深度图特征，再根据深度特征对场景区域进行分类，达到分割的目的；基于先验信息的分割方法需要引用先验知识。

以上传统的图像分割方法大部分需要先提取图像的特征，再将特征映射到相关模型中，其过程通常比较复杂，且效果的鲁棒性不够，很多时候不能给出语义信息。此外，还有如下缺陷：计算量太大，难以应用到实时系统；需要引入先验知识，不能实现全自动分割；算法本身存在矛盾，比如边缘检测中使用高斯函数对图像做平滑滤波时，会产生边缘模糊效应，使LOG算子的噪声平滑能力与边缘定位能力相矛盾等等。

随着“大数据”时代的到来，以及高性能计算设备的发展，深度学习已经在语音识别、人脸识别、目标检测等人工智能领域表现出了惊人的突破，同时，深度学习在图像语义分割方面也有着令人瞩目的表现。图像语义分割的意思是机器自动分割并识别出图像中的内容，本质就是对图像中的每个像素进行分类。深度学习做图像语义分割的基本思想是：采用像素级标注的图像作为训练图像，通过深度学习网络中的反卷积层、上采样层等将卷积层、池化层等提取的特征还原到原输入图像的大小，它是一种端到端的分割方法。实验表明，深度学习网络在图像分割方面具有非常优越的性能。

正是基于上述原因，为本发明实施例提出了一种基于宽残差金字塔池化网络的图像分割方法及装置。

下面参照附图描述根据本发明实施例提出的基于宽残差金字塔池化网络的图像分割方法及装置，首先将参照附图描述根据本发明实施例提出的基于宽残差金字塔池化网络的图像分割方法。

图1是本发明一个实施例的基于宽残差金字塔池化网络的图像分割方法的流程图。

如图1所示，该基于宽残差金字塔池化网络的图像分割方法包括以下步骤：

在步骤S101中，输入待分割图像。

可以理解的是，如图2所示，步骤A1：输入待分割的图像数据。例如，本发明实施例的待分割的图像对象包含不同的类别，每一类对象有不同的背景。同一类对象，在不同背景下的图像如图3所示，不同类别的对象如图4所示。

在步骤S102中，对待分割图像进行标准化，以使待分割图像的像素均值为0且方差为1。

可以理解的是，如图2所示，步骤A2：对待分割图像进行标准化。例如，训练数据为500×375的图像，在每个待分割图像上减去所有像素的平均值，再除以标准差，使得像素的均值为0，方差为1。

在步骤S103中，获取WRN-PPNet模型，其中，WRN-PPNet模型包括WRN模块和PPNet模块，且WRN模块提取的特征与PPNet模块提取的特征相融合。

可以理解的是，如图2所示，步骤A3：设计WRN-PPNet模型，WRN-PPNet模型至少包括WRN模块和PPNet模块。其中，WRN-PPNet模型如图5所示，(1)表示WRN模块，(B)表示由WRN模块提取的特征图，(2)表示PPNet模块，C)表示WRN模块提取的特征与PPNet通路提取的特征的融合特征。

可选地，在本发明的一个实施例中，WRN模块包括第一宽残差块组、第二宽残差块组和第三宽残差块组，第一宽残差块组、第二宽残差块组和第三宽残差块组均包含四个宽残差块，每个宽残差块包含两个卷积层，卷积核大小均为3*3，且在每个卷积层之前均有一个批标准化BN层，且第一宽残差块组中，每个宽残差块输出的特征图FMs的尺寸与其输入的FMs的尺寸相等，第二宽残差块组和第三宽残差块组中，第一个宽残差块输出的FMs的尺寸是其输入的FMs尺寸的二分之一，其余宽残差块输出的FMs的尺寸等于其输入的FMs的尺寸。

可以理解的是，如图5所示，(1)是WRN模块，包括1a)、1b)、1c)、1d)四部分，其参数形式如表1所示，具体地，WRN模块如图6所示，该模型的输入大小为M*M*3，其中，M*M表示输入图像尺度，“3”表示图像的三个通道，分别是R(red，红色)、G(green，绿色)、B(blue，蓝色)三个通道。其中，1a)表示第一卷积层Conv1，1b)表示第一宽残差块组Conv2，1c)表示第二宽残差块组Conv3，1d)表示第三宽残差块组Conv4，(B)表示由WRN模块提取的FMs。其中，表1为WRN模块结构的参数形式表。

表1

其中，B(3,3)表示残差块有2个卷积核为3×3的卷积层，M表示输入图像或FMs的尺寸，k表示FM数量的增加系数，N表示残差块的个数。

举例而言，如图6所示，本发明实施例中的WRN模块为：卷积层1a)的输入尺寸为240*240*3(公式最后一项为通道个数，以下均类似)，输出尺寸为240*240*16；第一宽残差块组1b)包含四个宽残差块，其中，第一个宽残差块的输入尺寸为240*240*16，输出尺寸为240*240*48，另外三个宽残差块的输入尺寸与输出尺寸均为240*240*48；第二宽残差块组1c)包含四个宽残差块，其中，第一个宽残差块的输入尺寸为240*240*48，输出尺寸为120*120*96，另外三个宽残差块的输入尺寸与输出尺寸均为120*120*96；第三宽残差块组1d)包含四个宽残差块，其中，第一个宽残差块的输入尺寸为120*120*96，输出尺寸为60*60*192，另外三个宽残差块的输入尺寸与输出尺寸均为60*60*192。在WRN模块中，宽残差块的形式如图7所示，其中(a)表示基础残差块，(b)表示宽残差块1，(c)表示宽残差块2，(a)、(b)以及(c)的卷积部分的结构为BN-conv3*3-ReLU，其中，ReLU(RectifiedLinearUnit)是激活函数，(b)、(c)中卷积层输出的FMs的个数为(a)中卷积层输出的FMs的个数乘以加宽系数。在WRN模块的第一宽残差块组Conv2中，四个宽残差块的形式如图7中(b)所示，第二宽残差块组与第三宽残差块组中的第一个宽残差块的形式如图7中(c)所示，其余宽残差块的形式如图7中(b)所示。

进一步地，在本发明的一个实施例中，PPNet模块包括第一池化通路、第二池化通路和第三池化通路，第一池化通路的池化窗口大小为4*4，第二池化通路的池化窗口大小为2*2，第三池化通路的池化窗口大小为1*1，且池化方式均为平均池化。

可以理解的是，如图5所示，(2)表示PPNet模块包含三个池化通路，具体地，PPNet模块如图8所示，(2)表示PPNet模块，包含第一池化通路pool1-conv-deconv1-conv-deconv2、第二池化通路pool2-conv-deconv3、第三池化通路pool3-conv，(C)表示WRN模块输出的FMs与PPNet输出的FMs的融合；其中，2a)表示PPNet模块第三池化通路输出的FMs，2b)表示PPNet模块第二池化通路输出的FMs，2c)表示PPNet模块第一池化通路输出的FMs。

举例而言，如图8所示，PPNet模块：在三个池化通道之前是BN层，然后是三个池化通道，三个池化通道的形式分别为第一池化通道pool1-conv-deconv1-conv-deconv2、第二池化通道pool2-conv-deconv3、第三池化通道pool3-conv，三个通道的输入大小均为60*60*192，pool1的池化窗口为4*4，滑动步长为4，其输出大小为15*15*192，pool2的池化窗口为2*2，滑动步长为2，其输出大小为30*30*192，pool3的池化窗口为1*1，步长为1，其输出大小为60*60*192，其中，pool1、pool2、pool3均为均匀池化。conv表示有两个卷积核为3*3的卷积层组成的卷积块，其输入大小与输出大小相等；deconv1的输入大小为15*15*128，输出大小为30*30*128；deconv2的输入大小为30*30*128，输出大小为60*60*128，第一池化通道的输出大小为60*60*128；deconv3的输入大小为30*30*128，输出大小为60*60*128，第二池化通道的输出大小为60*60*128；第三池化通道的输出大小为60*60*128。所有卷积层的激活函数均为ReLU函数。其中，ReLU函数形式为，如公式1所示：

其中，y_i表示该函数的输入。

进一步地，在本发明的一个实施例中，获取宽残差金字塔池化网络WRN-PPNet模型，进一步包括：在PPNet模块中的池化通路上作反卷积操作，其中，在第一池化通路上作两次反卷积操作，并且在第二池化通路上作一次反卷积操作，以及在第三池化通路上有两个卷积层，且每个反卷积层之前均有两个卷积层，卷积核大小均为3*3。

可以理解的是，如图5所示，(3)表示WRN-PPNet模型的最后一部分，具体地，如图9所示，WRN-PPNet模型的最后一部分包含conv-deconv-conv-deconv-conv-conv1，其中，conv表示有两个卷积核为3*3的卷积层组成的卷积块，deconv表示反卷积层，3a)表示反卷积层up1输出的FMs，3b)表示反卷积层up2输出的特征与模型原始输入的级联，conv1表示卷积核为1*1的卷积层，该层输出的FM表示对输入图像中目标对象的分割效果。

举例而言，如图9所示，WRN-PPNet模型最后一部分：conv表示由卷积核为3*3的两个卷积层组成的卷积块；up1的输入大小为60*60*64，其输出大小为120*120*64，up2的输入大小为120*120*64，其输出大小为240*240*64；3b)表示up2的输出FMs与原始输入的串联，conv1的输入大小为240*240*64，输出大小为240*240*1，conv1的输出结果就是模型的分割结果。

进一步地，在本发明的一个实施例中，本发明实施例的方法还包括：通过串联的方式，在模型做分割之前第二次将原输入图像引入WRN-PPNet模型，使用两个卷积核为3*3的卷积层获得模型生成特征与原输入图像的超本地化特征的优化组合。

需要说明的是，该WRN-PPNet模型通过一块GPU(Graphics Processing Unit，图形处理器)显卡NVIDIA Titan X(Pascal)训练得到，效果显著，不需要像传统图像处理方法先手动提取图像特征，再进行分割等繁琐的步骤，而是直接提取特征，并对图像进行端到端地分割。而且，除了标准化图像外，不需要再对图像做任何预处理。

在步骤S104中，对训练图像进行预处理，以使训练图像的像素均值为0且方差为1，且使得分割对象的像素标签为1且其余部分像素标签为0，并通过数据扩展法增加训练图像的模式和数量，得到训练图像集。

可以理解的是，如图2所示，步骤A4：对训练图像进行标准化，使训练图像的像素均值为0，方差为1，并使用数据扩展法增加训练数据。例如，将训练图像进行水平翻转、垂直翻转、平移、旋转、放大缩小、改变亮度、弹性畸变，同时，训练图像对应的标签图像也做相应的变换。数据扩展方法具体见表2。最后，将变换后的训练图像与原训练图像一起组成训练集。其中，表2为图像数据扩展方法表。

表2

序号	方法
		1	50％的概率水平翻转
2	50％的概率垂直翻转
		3	旋转±20°
4	在水平和垂直方向上平移10％
		5	放大缩小±10％
6	改变亮度
		7	弹性畸变

举例而言，本发明实施例可以通过实施数据扩展法来增加训练集的图像数据。包括随机选择50％的图像做水平翻转，随机选择50％的图像做垂直翻转，随机选择图像进行旋转，在水平方向和垂直方向平移10％，放大10％，缩小10％，改变亮度，做弹性畸变，然后将这些变换过的图像放入训练集，以增加训练集中图像的模式和数量。

在步骤S105中，根据WRN-PPNet模型和训练图像集进行模型训练，以生成WRN-PPNet分割模型。

可以理解的是，本发明实施例可以根据WRN-PPNet模型和扩展后的数据集进行模型训练，以生成WRN-PPNet分割模型，具体地，如图2所示，步骤A5：模型训练，生成WRN-PPNet分割模型。其中，步骤A5模型训练可以包括A51、A52、A53和A54中的四个步骤，具体如下：

步骤A51：首先，模型参数初始化。其中，卷积层中权重的初始化方式均为随机正态分布初始化，偏置向量的初始化方式为全零初始化。

步骤A52：调整模型的权重。训练模型时，采用Adam(Adaptive MomentEstimation，自适应矩估计法)优化模型。表3是Adam算法的迭代流程表。

表3

步骤A53：设置训练的终止条件。

本发明实施例的模型训练过程中使用EarlyStopping方法，当验证集的精确度不再提高时，或者当训练次数达到设定的最大值时，训练过程自动终止。其中，EarlyStopping是指在模型训练过程中，满足设定的终止条件后，不管是否达到最大训练轮次，训练自动终止。

进一步地，步骤A53为利用EarlyStopping控制训练过程，在训练过程中，验证集的精确度不再提高或者训练轮次达到最大时，终止训练。EarlyStopping是指在模型训练过程中，满足设定的终止条件后，不管是否达到最大训练轮次，训练自动终止；训练过程中的验证集占总训练集的20％。

需要说明的是，本发明实施例可以采用Adam算法训练模型，Adam算法利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，该算法的优点在于经过偏置矫正后，每一次迭代学习率都有确定范围，使得参数比较平稳。并且利用网格搜索法确定模型的相关参数，如卷积核数、激活函数等等，有效降低优化模型时选参数的难度，以及利用EarlyStopping方式，使得在训练过程中，模型性能不再提高时及时终止训练。

步骤A54：保存训练好的模型。

当训练终止后，保存训练好的模型：包括保存模型权重(文件类型为.npz)

在步骤S106中，根据待分割图像通过WRN-PPNet分割模型得到图像分割结果。

可以理解的是，本发明实施例可以通过WRN-PPNet模型得到图像分割结果，如图2所示，步骤A6：输出目标对象的分割结果。需要说明是，本发明实施例方法携带的全部或部分步骤是可以通过程序指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

综上而言，本发明实施例的基于WRN-PPNet的图像分割方法可以包括：输入待分割的图像数据；标准化待分割图像数据；训练WRN-PPNet模型，具体包括设计WRN-PPNet模型，将训练数据进行预处理，利用预处理后的训练数据和设计好的WRN-PPNet模型进行模型训练。其中，设计WRN-PPNet模型包含WRN模块和PPNet模块，标准化训练数据，并使用数据扩展法增加训练图像的模式和数量，构成训练集，模型训练过程包括初始化模型的权值，调整模型的权重，设置训练的终止条件；输出图像分割结果，具体包括将待分割的图像输入训练好的WRN-PPNet模型，对待测图像数据进行正确分割。

根据本发明实施例提出的基于宽残差金字塔池化网络的图像分割方法，可以通过深度残差网络理论和深度学习网络模型训练方法获得基于WRN-PPNet的图像分割模型，从而可以实现端到端的分割任务，且可以用于全自动地对图像进行分割，且不受待分割图像类别的限制，适用性强，模型性能好，具有鲁棒性，使分割不但更加便捷、有效，而且操作简单且性能更好，从而有效提高图像分割的精准性和便捷性。

其次参照附图描述根据本发明实施例提出的基于宽残差金字塔池化网络的图像分割系统。

图10是本发明一个实施例的基于宽残差金字塔池化网络的图像分割系统的结构示意图。

如图10所示，该基于宽残差金字塔池化网络的图像分割系统10包括：输入模块100、第一预处理模块200、获取模块300、第二预处理模块400、训练模块500和分割模块600。

其中，输入模块100用于输入待分割图像。第一预处理模块200用于对待分割图像进行标准化，以使待分割图像的像素均值为0且方差为1。获取模块300用于获取WRN-PPNet模型，其中，WRN-PPNet模型包括WRN模块和PPNet模块，且WRN模块提取的特征与PPNet模块提取的特征相融合。第二预处理模块400用于对训练图像进行预处理，以使训练图像的像素均值为0且方差为1，且使得分割对象的像素标签为1且其余部分像素标签为0，并通过数据扩展法增加训练图像的模式和数量，得到训练图像集。训练模块500用于根据WRN-PPNet模型和训练图像集进行模型训练，以生成WRN-PPNet分割模型。分割模块600用于根据待分割图像通过WRN-PPNet分割模型得到图像分割结果。本发明实施例的系统可以基于WRN-PPNet全自动地对图像进行分割，实现对目标对象分割的目的，不受待分割图像类别的限制，而且适应性强，模型性能好，从而有效提高图像分割的准确性和便捷性。

进一步地，在本发明的一个实施例中，WRN模块包括第一宽残差块组、第二宽残差块组和第三宽残差块组，第一宽残差块组、第二宽残差块组和第三宽残差块组均包含四个宽残差块，每个宽残差块包含两个卷积层，卷积核大小均为3*3，且在每个卷积层之前均有一个批标准化BN层，且第一宽残差块组中，每个宽残差块输出的特征图FMs的尺寸与其输入的FMs的尺寸相等，第二宽残差块组和第三宽残差块组中，第一个宽残差块输出的FMs的尺寸是其输入的FMs尺寸的二分之一，其余宽残差块输出的FMs的尺寸等于其输入的FMs的尺寸。

进一步地，在本发明的一个实施例中，PPNet模块包括第一池化通路、第二池化通路和第三池化通路，第一池化通路的池化窗口大小为4*4，第二池化通路的池化窗口大小为2*2，第三池化通路的池化窗口大小为1*1，且池化方式均为平均池化。

进一步地，在本发明的一个实施例中，在PPNet模块中的池化通路上作反卷积操作，其中，在第一池化通路上作两次反卷积操作，并且在第二池化通路上作一次反卷积操作，以及在第三池化通路上有两个卷积层，且每个反卷积层之前均有两个卷积层，卷积核大小均为3*3。

进一步地，在本发明的一个实施例中，通过串联的方式，在模型做分割之前第二次将原输入图像引入WRN-PPNet模型，使用两个卷积核为3*3的卷积层获得模型生成特征与原输入图像的超本地化特征的优化组合。

需要说明的是，前述对基于宽残差金字塔池化网络的图像分割方法实施例的解释说明也适用于该实施例的基于宽残差金字塔池化网络的图像分割系统，此处不再赘述。

根据本发明实施例提出的基于宽残差金字塔池化网络的图像分割系统，可以通过深度残差网络理论和深度学习网络模型训练方法获得基于WRN-PPNet的图像分割模型，从而可以实现端到端的分割任务，且可以用于全自动地对图像进行分割，且不受待分割图像类别的限制，适用性强，模型性能好，具有鲁棒性，使分割不但更加便捷、有效，而且操作简单且性能更好，从而有效提高图像分割的精准性和便捷性。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于宽残差金字塔池化网络的图像分割方法，其特征在于，包括以下步骤：

输入待分割图像；

对所述待分割图像进行标准化，以使所述待分割图像的像素均值为0且方差为1；

获取WRN-PPNet模型，其中，所述WRN-PPNet模型包括WRN模块和PPNet模块，且所述WRN模块提取的特征与所述PPNet模块提取的特征相融合；

对训练图像进行预处理，以使所述训练图像的像素均值为0且方差为1，且使得分割对象的像素标签为1且其余部分像素标签为0，并通过数据扩展法增加所述训练图像的模式和数量，得到训练图像集；

根据所述WRN-PPNet模型和所述训练图像集进行模型训练，以生成WRN-PPNet分割模型；以及

根据所述待分割图像通过所述WRN-PPNet分割模型得到图像分割结果。

2.根据权利要求1所述的基于宽残差金字塔池化网络的图像分割方法，其特征在于，所述WRN模块包括第一宽残差块组、第二宽残差块组和第三宽残差块组，所述第一宽残差块组、所述第二宽残差块组和所述第三宽残差块组均包含四个宽残差块，每个宽残差块包含两个卷积层，卷积核大小均为3*3，且在每个卷积层之前均有一个批标准化BN层，且所述第一宽残差块组中，每个宽残差块输出的特征图FMs的尺寸与其输入的FMs的尺寸相等，第二宽残差块组和第三宽残差块组中，第一个宽残差块输出的FMs的尺寸是其输入的FMs尺寸的二分之一，其余宽残差块输出的FMs的尺寸等于其输入的FMs的尺寸。

3.根据权利要求1所述的基于宽残差金字塔池化网络的图像分割方法，其特征在于，所述PPNet模块包括第一池化通路、第二池化通路和第三池化通路，所述第一池化通路的池化窗口大小为4*4，所述第二池化通路的池化窗口大小为2*2，所述第三池化通路的池化窗口大小为1*1，且池化方式均为平均池化。

4.根据权利要求3所述的基于宽残差金字塔池化网络的图像分割方法，其特征在于，所述获取WRN-PPNet模型，进一步包括：

在所述PPNet模块的池化通路上作反卷积操作，其中，在所述第一池化通路上作两次反卷积操作，并且在所述第二池化通路上作一次反卷积操作，以及在所述第三池化通路上有两个卷积层，且每个反卷积层之前均有两个卷积层，卷积核大小均为3*3。

5.根据权利要求4所述的基于宽残差金字塔池化网络的图像分割方法，其特征在于，还包括：

通过串联的方式，在模型做分割之前第二次将原输入图像引入所述WRN-PPNet模型，使用两个卷积核为3*3的卷积层，获得模型生成特征与原输入图像的超本地化特征的优化组合。

6.一种基于宽残差金字塔池化网络的图像分割系统，其特征在于，包括：

输入模块，用于输入待分割图像；

第一预处理模块，用于对所述待分割图像进行标准化，以使所述待分割图像的像素均值为0且方差为1；

获取模块，用于获取WRN-PPNet模型，其中，所述WRN-PPNet模型包括WRN模块和PPNet模块，且所述WRN模块提取的特征与所述PPNet模块提取的特征相融合；

第二预处理模块，用于对训练图像进行预处理，以使所述训练图像的像素均值为0且方差为1，且使得分割对象的像素标签为1，且其余部分像素标签为0，并通过数据扩展法增加所述训练图像的模式和数量，得到训练图像集；

训练模块，用于根据所述WRN-PPNet模型和所述训练图像集进行模型训练，以生成WRN-PPNet分割模型；以及

分割模块，用于根据所述待分割图像通过所述WRN-PPNet分割模型得到图像分割结果。

7.根据权利要求6所述的基于宽残差金字塔池化网络的图像分割系统，其特征在于，所述WRN模块包括第一宽残差块组、第二宽残差块组和第三宽残差块组，所述第一宽残差块组、所述第二宽残差块组和所述第三宽残差块组均包含四个宽残差块，每个宽残差块包含两个卷积层，卷积核大小均为3*3，且在每个卷积层之前均有一个批标准化BN层，且所述第一宽残差块组中，每个宽残差块输出的特征图FMs的尺寸与其输入的FMs的尺寸相等，第二宽残差块组和第三宽残差块组中，第一个宽残差块输出的FMs的尺寸是其输入的FMs尺寸的二分之一，其余宽残差块输出的FMs的尺寸等于其输入的FMs的尺寸。

8.根据权利要求6所述的基于宽残差金字塔池化网络的图像分割系统，其特征在于，所述PPNet模块包括第一池化通路、第二池化通路和第三池化通路，所述第一池化通路的池化窗口大小为4*4，所述第二池化通路的池化窗口大小为2*2，所述第三池化通路的池化窗口大小为1*1，且池化方式均为平均池化。

9.根据权利要求6所述的基于宽残差金字塔池化网络的图像分割系统，其特征在于，在所述PPNet模块中的池化通路上作反卷积操作，其中，在所述第一池化通路上作两次反卷积操作，并且在所述第二池化通路上作一次反卷积操作，以及在所述第三池化通路上有两个卷积层，且每个反卷积层之前均有两个卷积层，卷积核大小均为3*3。

10.根据权利要求6所述的基于宽残差金字塔池化网络的图像分割系统，其特征在于，通过串联的方式，在模型做分割之前第二次将原输入图像引入所述WRN-PPNet模型，使用两个卷积核为3*3的卷积层获得模型生成特征与原输入图像的超本地化特征的优化组合。