CN106530320A - 一种端到端的图像分割处理方法及系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，公开了一种端到端的图像分割处理方法及系统，所述方法包括：获取用于进行端到端的图像分割处理的测试用图，作为训练的样本图像；建立端到端的图像分割网络，并用样本图像来进行训练学习；根据所得到的图像分割网络模型对目标图像进行分割，实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果。本发明通过端到端的图像分割处理方法对图像分割的精度更高，无需切割小图，节省计算机存储资源，减少准备图像的时间，可以一次性输出整幅图像的分割结果，提升了分割速度，也使得图像分割的步骤更加简便。

Description

一种端到端的图像分割处理方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及的是一种端到端的图像分割处理方法及系统。

背景技术

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。

在现有的图像分割技术中，基于神经网路的图像（以神经网络图为例，但不限于神经网络图）分割技术，以其模拟人类感知的算法特点，在分割性能上，较其他算法有显著提升。而此类方法普遍采用切割成小图进行训练学习的模式，训练的数据需要将图像切割成小图，以获取大量的训练样本；而相对应的，测试的图像也必须切割成同等大小的小图进行测试。因此在训练环节需要耗费部分时间在切割小图的过程中，而在测试环节则需要耗费大部分时间在切割小图和拼接成整图的过程中。所以现有技术方案普遍存在耗时严重的问题。另外切割后的小图还需要存储起来以进行训练，也会造成计算机存储等资源的浪费。

因此，针对上述缺陷，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种端到端的图像分割处理方法及系统，旨在通过端到端的图像分割处理方法实现更高精度的图像分割，无需切割小图，节省计算机存储资源，减少准备图像的时间，可以一次性输出整幅图像的分割结果，提升了分割速度，也使得图像分割的步骤更加简便。

本发明解决技术问题所采用的技术方案如下：

一种端到端的图像分割处理方法，其中，包括：

步骤A，获取用于进行端到端的图像分割处理的测试用图，作为训练的样本图像；

步骤B，建立端到端的图像分割网络，并用样本图像来进行训练学习；

步骤C，根据所得到的图像分割网络模型对目标图像进行分割，实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果。

所述端到端的图像分割处理方法，其中，所述图像分割网络由特征粗提取子网络和重建子网络构成。

所述端到端的图像分割处理方法，其中，所述特征粗提取子网络由图像缩小和特征提取两个环节构成，在特征粗提取子网络中，先对图像进行缩小处理，或者分步缩小，然后提取特征。

所述端到端的图像分割处理方法，其中，所述重建子网络由图像放大和分类图重建两个环节构成，在重建子网络中，对图像进行相对应的放大操作和分类图重建。

所述端到端的图像分割处理方法，其中，所述步骤C具体包括：

C1，在特征粗提取子网络的图像缩小环节，经过第一个卷积层和下采样层后，目标图像缩小为原来的大小的1/2，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过一个反卷积层恢复为原始尺寸，然后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图；

或者在特征粗提取子网络的图像缩小环节，经过若干个卷积层和下采样层进行若干次缩小，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过若干个反卷积层和对应的卷积层进行叠加恢复为原始尺寸，最后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图。

一种端到端的图像分割处理系统，其中，包括：

图像获取单模块，用于获取进行端到端的图像分割处理的测试用图，作为训练的样本图像；

图像分割网络建立模块，用于建立端到端的图像分割网络，并用样本图像来进行训练学习；

图像分割模块，用于根据所得到的图像分割网络模型对目标图像进行分割，实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果。

所述端到端的图像分割处理系统，其中，所述图像分割网络建立模块中的图像分割网络由特征粗提取子网络和重建子网络构成。

所述端到端的图像分割处理系统，其中，所述图像分割网络建立模块还包括：

图像缩小和特征提取单元，所述特征粗提取子网络由图像缩小和特征提取两个环节构成，在特征粗提取子网络中，用于先对图像进行缩小处理，或者分步缩小，然后提取特征。

所述端到端的图像分割处理系统，其中，所述图像分割网络建立模块还包括：

图像放大和分类图重建单元，所述重建子网络由图像放大和分类图重建两个环节构成，在重建子网络中，用于对图像进行相对应的放大操作和分类图重建。

所述端到端的图像分割处理系统，其中，所述图像分割模块具体包括：

图像处理单元，用于在特征粗提取子网络的图像缩小环节，经过第一个卷积层和下采样层后，目标图像缩小为原来的大小的1/2，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过一个反卷积层恢复为原始尺寸，然后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图；

或者用于在特征粗提取子网络的图像缩小环节，经过若干个卷积层和下采样层进行若干次缩小，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过若干个反卷积层和对应的卷积层进行叠加恢复为原始尺寸，最后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图。

本发明公开了一种端到端的图像分割处理方法及系统，所述方法包括：获取用于进行端到端的图像分割处理的测试用图，作为训练的样本图像；建立端到端的图像分割网络，并用样本图像来进行训练学习；根据所得到的图像分割网络模型对目标图像进行分割，实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果。通过本发明能够取得如下有益效果：

1.对图像分割的精度更高。因为图像缩小的原因，在使用同等大小的卷积核来预测一个像素点是否为血管的时候，可以从更大范围的邻域来进行估计。理论上在图像无限缩小的情况下，对于一个像素点是否为血管的估计值，可以由整幅图像来支撑。使用更多的信息进行估值判断，可以得到更高的判断精度。

2.本发明可以一次性输出整幅图像的分割结果，提升了分割速度，也使得图像分割的步骤更加简便。本发明提出的是一种端到端的图像分割处理方法，主要是通过图像分割学习网络模型实现对整幅图像的估计输出，因此相较于切割小图方案，可以实现对整幅图像分割结果的一次性输出。而且无需切割小图、拼接成整图的繁琐步骤，使得图像分割速度进一步提高。

3.本发明无需切割小图，节省计算机存储资源。现有分割技术中普遍需要将图像切割成小图，存储这些由小图构成的训练集，会消耗大量的存储资源。而本发明中实现的是端到端的图像分割学习，加以配套的训练数据准备网络，以少量的计算机存储资源，实现图像分割目标。

4.本发明采用对缩小图像进行特征粗提取的方法，有效降低整个神经网路的宽度，因此本发明是一种普通实验室条件可实现的端到端的图像分割方法。一般的端到端的训练方式，由于其图像大小的要求，需要十分庞大的网络来支撑训练，这就需要大量的计算机运行内存，显卡内存等资源，而普通研究机构的计算机性能无法满足这样的要求，这也是目前在图像分割领域，切割成小图的方案盛行的主要原因，因此本发明的提出解决了这种困扰。

附图说明

图1是本发明端到端的图像分割处理方法的较佳实施例的流程图。

图2是本发明端到端的图像分割处理方法中样本图片（神经网络图）示意图。

图3是图2中样本图片对应的准确的分类图。

图4是本发明端到端的图像分割处理方法的第一实施例的流程图。

图5是本发明端到端的图像分割处理方法的第二实施例的流程图。

图6是本发明端到端的图像分割处理方法的第二实施例中所述特征粗提取子网络的最终输出的分类图。

图7是本发明端到端的图像分割处理方法的第二实施例中重建子网络中图像第一次放大输出的分类图（图5中deconv1层的输出）。

图8是本发明端到端的图像分割处理方法的第二实施例中重建子网络中图像第一次重建输出的分类图（图5中conv7层的输出）。

图9是本发明端到端的图像分割处理方法的第二实施例中重建子网络中图像第二次放大输出的分类图（图5中deconv2层的输出）。

图10是本发明端到端的图像分割处理方法的第二实施例中重建子网络中图像最终重建输出的分类图（图5中conv8层的输出）。

图11是本发明端到端的图像分割处理系统的较佳实施例的功能原理框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1是本发明端到端的图像分割处理方法的较佳实施例的流程图。

如图1所示，本发明实施例提供的一种端到端的图像分割处理方法，包括以下步骤：

步骤S100，获取用于进行端到端的图像分割处理的测试用图，作为训练的样本图像。

本发明中，所述端到端的图像分割，即以整张图像为模型输入，以输出整张图像的分割结果为目的的图像分割方法。图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。所以本发明在开始进行图像分割之前，必须要先准备训练用的目标图像，本发明所采用的目标图像为眼底血管图，如图2所示，使用检眼镜拍摄的眼底血管图，本发明进行图像分割的目的就是使用端到端的图像分割处理方法使计算机自动将血管从图2中分割出来，从而得到图2对应的准确的分类图，如图3所示。

步骤S200，建立端到端的图像分割网络，并用样本图像来进行训练学习。

本发明中，所述图像分割网络由特征粗提取子网络和重建子网络构成。

所述特征粗提取子网络由图像缩小和特征提取两个环节构成，在特征粗提取子网络中，先对图像进行缩小处理，或者有必要时（对于尺寸更大的图像）会分步缩小，然后提取特征。所述重建子网络由图像放大和分类图重建两个环节构成，在重建子网络中，对图像进行相对应的放大操作和分类图重建。

步骤S300，根据所得到的图像分割网络模型对目标图像进行分割，实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果。

本发明中，在特征粗提取子网络的图像缩小环节，经过第一个卷积层和下采样层后，目标图像缩小为原来的大小的1/2，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过一个反卷积层恢复为原始尺寸，然后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图；或者在特征粗提取子网络的图像缩小环节，经过若干个卷积层和下采样层进行若干次缩小，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过若干个反卷积层和对应的卷积层进行叠加恢复为原始尺寸，最后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图。

对于尺寸更大的图像，可以采用分步将图片缩小到更小尺寸的网络架构，相对应的，也需要有对应的多次图像放大操作和叠加，并通过一个卷积层重建最终分类图。当然理论上，本发明所提出的技术方案中，图像可以无限缩小，只需要图像在特征粗提取子网络中无限缩小图像，并且在重建子网络中相对应的进行图像放大和叠加即可。

为了使得本发明的方案更加清楚、明白，下面将通过具体的实施例进行说明。

请参见图4，图4是本发明端到端的图像分割处理方法的第一实施例的流程图。如图4所示，样本图片在特征粗提取子网络（Coarse Extraction Sub-network）的图像缩小环节，经过一个convolution层（conv1，卷积层）和pooling层（pool1，下采样层）后，图像缩小为原来的1/2大小，紧接着是特征粗提取子网络的特征提取环节，本实施例中经过5个convolution层（conv2到conv6）提取到合适的特征。在重建子网络(Reconstruction Sub-network)中，图像先经过一个deconvolution层（deconv1，反卷积层），这时图像已恢复为原始尺寸，然后与conv1的卷积结果进行叠加，并通过一个convolution层（conv7）重建最终分类图。

需要说明的是，在图像重建时，较大的倍数差异可能使得重建精度降低，甚至无法重建，因此图像相应的缩小和放大倍数不宜较大。

对于尺寸更大的图像，可以采用分步将图片缩小到更小尺寸的网络架构。如图5所示，图5是本发明端到端的图像分割处理方法的第二实施例的流程图，也就是分步将图片缩小到更小尺寸的过程，为两次缩小的实施例。如图5所示的网络中，特征粗提取子网络有两次图像缩小操作，即conv1、pool1、conv2、pool2，这时图像尺寸变得更小，后续再接数个卷积层以提取特征，如图6所示为所述特征粗提取子网络的最终输出的分类图。

在重建子网络中，相对应的，也需要有两次图像放大操作和叠加，图像先经过一个deconvolution层（deconv1，反卷积层），输出如图7所示重建子网络中图像第一次放大输出的分类图（图5中deconv1层的输出）；然后图像经过1个convolution层（conv7，卷积层）输出如图8所示重建子网络中图像第一次重建输出的分类图（图5中conv7层的输出）；再经过一个deconvolution层（deconv2，反卷积层）输出如图9所示重建子网络中图像第二次放大输出的分类图（图5中deconv2层的输出），这时图像已恢复为原始尺寸；最后，经过1个convolution层（conv8，卷积层）输出如图10所示重建子网络中图像最终重建输出的分类图（图5中conv8层的输出）。从而一次性输出了整幅图像的分割结果。

当然理论上，本发明所提出的技术方案中，图像可以无限缩小，即图像可以进行若干次缩小，而不限于一次或者两次缩小，只需要模型在特征粗提取子网络中无限缩小图像，并且在重建子网络中相对应的进行图像放大和叠加即可。

应当理解，此处所描述的具体实施样例仅仅用以解释本发明，并不用于限定本发明。

基于上述实施例，本发明还提供一种端到端的图像分割处理系统，请参阅图11，图11是本发明端到端的图像分割处理系统的较佳实施例的功能原理框图。

如图11所示，所述装置包括：

图像获取单模块10，用于获取进行端到端的图像分割处理的测试用图，作为训练的样本图像；具体如上所述。

图像分割网络建立模块20，建立端到端的图像分割网络，并用样本图像来进行训练学习；具体如上所述。

图像分割模块30，用于根据所得到的图像分割网络模型对目标图像进行分割，实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果；具体如上所述。

进一步地，所述端到端的图像分割处理系统，其中，所述图像分割网络建立模块中的图像分割网络由特征粗提取子网络和重建子网络构成；具体如上所述。

所述端到端的图像分割处理系统，其中，所述图像分割网络建立模块还包括：

图像缩小和特征提取单元，所述特征粗提取子网络由图像缩小和特征提取两个环节构成，在特征粗提取子网络中，用于先对图像进行缩小处理，或者分步缩小，然后提取特征；具体如上所述。

所述端到端的图像分割处理系统，其中，所述图像分割网络建立模块还包括：

图像放大和分类图重建单元，所述重建子网络由图像放大和分类图重建两个环节构成，在重建子网络中，用于对图像进行相对应的放大操作和分类图重建；具体如上所述。

所述端到端的图像分割处理系统，其中，所述图像分割模块具体包括：

图像处理单元，用于在特征粗提取子网络的图像缩小环节，经过第一个卷积层和下采样层后，目标图像缩小为原来的大小的1/2，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过一个反卷积层恢复为原始尺寸，然后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图；

或者用于在特征粗提取子网络的图像缩小环节，经过若干个卷积层和下采样层进行若干次缩小，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过若干个反卷积层和对应的卷积层进行叠加恢复为原始尺寸，最后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图；具体如上所述。

综上所述，本发明公开了一种端到端的图像分割处理方法及系统，所述方法包括：获取用于进行端到端的图像分割处理的测试用图，作为训练的样本图像；建立端到端的图像分割网络，并用样本图像来进行训练学习；根据所得到的图像分割网络模型对目标图像进行分割，实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果。本发明通过端到端的图像分割处理方法对图像分割的精度更高，无需切割小图，节省计算机存储资源，减少图像准备的时间，可以一次性输出整幅图像的分割结果，提升了分割速度，也使得图像分割的步骤更加简便。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种端到端的图像分割处理方法，其特征在于，包括：

步骤A，获取用于进行端到端的图像分割处理的测试用图，作为训练的样本图像；

步骤B，建立端到端的图像分割网络，并用样本图像来进行训练学习；

步骤C，根据所得到的图像分割网络模型对目标图像进行分割，实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果。

2.根据权利要求1所述端到端的图像分割处理方法，其特征在于，所述图像分割网络由特征粗提取子网络和重建子网络构成。

3.根据权利要求2所述端到端的图像分割处理方法，其特征在于，所述特征粗提取子网络由图像缩小和特征提取两个环节构成，在特征粗提取子网络中，先对图像进行缩小处理，或者分步缩小，然后提取特征。

4.根据权利要求2所述端到端的图像分割处理方法，其特征在于，所述重建子网络由图像放大和分类图重建两个环节构成，在重建子网络中，对图像进行相对应的放大操作和分类图重建。

5.根据权利要求2所述端到端的图像分割处理方法，其特征在于，所述步骤C具体包括：

C1，在特征粗提取子网络的图像缩小环节，经过第一个卷积层和下采样层后，目标图像缩小为原来的大小的1/2，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过一个反卷积层恢复为原始尺寸，然后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图；

或者在特征粗提取子网络的图像缩小环节，经过若干个卷积层和下采样层进行若干次缩小，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过若干个反卷积层和对应的卷积层进行叠加恢复为原始尺寸，最后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图。

6.一种端到端的图像分割处理系统，其特征在于，包括：

图像获取模块，用于获取进行端到端的图像分割处理的测试用图，作为训练的样本图像；

图像分割网络建立模块，用于建立端到端的图像分割网络，并用样本图像来进行训练学习；

图像分割模块，用于根据所得到的图像分割网络模型对目标图像进行分割，实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果。

7.根据权利要求6所述端到端的图像分割处理系统，其特征在于，所述图像分割网络建立模块中的图像分割网络由特征粗提取子网络和重建子网络构成。

8.根据权利要求6所述端到端的图像分割处理系统，其特征在于，所述图像分割网络建立模块还包括：

图像缩小和特征提取单元，所述特征粗提取子网络由图像缩小和特征提取两个环节构成，在特征粗提取子网络中，用于先对图像进行缩小处理，或者分步缩小，然后提取特征。

9.根据权利要求6所述端到端的图像分割处理系统，其特征在于，所述图像分割网络建立模块还包括：

图像放大和分类图重建单元，所述重建子网络由图像放大和分类图重建两个环节构成，在重建子网络中，用于对图像进行相对应的放大操作和分类图重建。

10.根据权利要求6所述端到端的图像分割处理系统，其特征在于，所述图像分割模块具体包括：

图像处理单元，用于在特征粗提取子网络的图像缩小环节，经过第一个卷积层和下采样层后，目标图像缩小为原来的大小的1/2，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过一个反卷积层恢复为原始尺寸，然后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图；

或者用于在特征粗提取子网络的图像缩小环节，经过若干个卷积层和下采样层进行若干次缩小，然后特征粗提取子网络经过若干个卷积层提取到合适的特征，在重建子网络中，目标图像先经过若干个反卷积层和对应的卷积层进行叠加恢复为原始尺寸，最后与第一个卷积层的卷积结果进行叠加，并通过一个卷积层重建最终分类图。