CN113538394B - 一种图像分割方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种图像分割方法、装置、电子设备及存储介质，属于图像处理技术领域，将待处理图像切割为多个切片图像，先采用定位编码器和定位解码器粗略地确定切片图像中的目标对象的初始目标区域，对于初始目标区域的面积小于设定面积阈值的切片图像，认为该切片图像中不包含目标对象。仅采用分割编码器和分割解码器对包含目标对象的切片图像的定位结果图像进行进一步处理。并且，利用分割解码器对分割编码器输出的分割编码图和定位编码器输出的相对应的定位编码图一同进行解码，重构分割解码器中上采样的过程。通过本申请不仅可以使最终得到的目标区域的图像更加准确和清晰，还可以减少数据处理量，提高处理效率。

Description

一种图像分割方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，更具体地说，涉及一种图像分割方法、装置、电子设备及存储介质。

背景技术

现代医学中，通常通过对采用医学影像方法得到的医学图像中的病灶区域进行辨别，来辅助疾病的诊断和治疗。

过去主要通过人眼对医学图像中的病灶区域进行辨别。目前，考虑到人工对病灶进行辨别，根据医生经验的不同，得到的辨别结果也不一样，很容易造成误判。因此，也有相关技术采用计算机视觉从图像中识别出病灶区域。

但是，随着现代化的影像设备拍摄的医学图像的分辨率越来越高，采用现有的计算机视觉方法对高分辨率的医学图像进行识别时，由于需要处理的数据量很大，所以通常需要耗费很长的时间，效率很低，甚至由于可处理的数据量有限，无法对高分辨率的医学图像进行处理。因此，如何能够从高分辨率的图像中快速准确地识别出清晰的病灶区域，是一个亟待解决的问题。

发明内容

为了解决上述现有技术中的问题，本申请实施例提供了一种图像分割方法，可以准确、快速地从高分辨率的图像中分割出清晰的包含目标对象的图像。

第一方面，本申请实施例提供了一种图像分割方法，所述方法包括：

将待处理图像切割为多个切片图像；

针对所述多个切片图像中的每个切片图像，分别执行如下操作：将所述切片图像输入定位编码器，得到定位编码图，并采用定位解码器，根据所述定位编码图，确定所述切片图像对应的定位结果图像；所述定位结果图像用于标识所述切片图像中的初始目标区域；

分别将各个目标定位结果图像与对应的切片图像进行融合，得到所述各个目标定位结果图像对应的初始标记图像；所述目标定位结果图像为所包含的初始目标区域的面积达到设定面积阈值的定位结果图像；

针对各个所述初始标记图像，分别执行如下操作：将所述初始标记图像输入到分割编码器中，得到分割编码图；采用分割解码器，根据所述分割编码图和所述初始标记图像对应的定位编码图，确定所述初始标记图像对应的切片图像中目标区域的图像。

在一种可能的实现方式中，所述定位编码器包括顺次连接的多层定位下采样层，其中，第一层定位下采样层的输入为切片图像；除所述第一层定位下采样层之外的其他定位下采样层的输入为上一层定位下采样层输出的切片图像特征图；各层定位下采样层输出的切片图像特征图的尺寸不同，所述定位编码图为所述多层定位下采样层中最后一层定位下采样层输出的切片图像特征图。

在一种可能的实现方式中，所述定位解码器包括多层定位上采样层，所述定位上采样层与所述定位下采样层的数量相等；其中，第一层定位上采样层的输入为所述定位编码图；除所述第一层定位上采样层之外的其他定位上采样层的输入为上一层定位上采样层输出的定位上采样图和对应尺寸的切片图像特征图；所述定位结果图像为所述多层定位上采样层中最后一层定位上采样层输出的定位上采样图。

在一种可能的实现方式中，分别将所述各个目标定位结果图像输入线性层，得到所述各个目标定位结果图像对应的线性定位结果图像；

将所述各个线性定位结果图像均与对应的切片图像进行对应位置像素点的像素值相乘，得到所述初始标记图像。

在一种可能的实现方式中，所述分割编码器包括顺次连接的多层分割下采样层，其中，第一层分割下采样层的输入为所述初始标记图像；除所述第一层分割下采样层之外的其他分割下采样层的输入为上一层分割下采样层输出的标记图像特征图；各层分割下采样层输出的标记图像特征图的尺寸不同，所述分割编码图为所述多层分割下采样层中最后一层分割下采样层输出的标记图像特征图。

在一种可能的实现方式中，所述采用分割解码器，根据所述分割编码图和所述初始标记图像对应的定位编码图，确定所述初始标记图像对应的切片图像中目标区域的图像，包括：

将所述分割编码图以及所述各个目标定位结果图像对应的定位编码图输入调整子网络，得到调整图像；所述调整子网络包括并行连接的卷积模块、卷积空洞模块和池化模块；

将所述调整图像输入分割卷积层，得到第一分割图像；

采用分割解码器，根据所述第一分割图像和所述各个目标定位结果图像对应的定位编码图，确定所述初始标记图像中对应的目标区域的图像。

在一种可能的实现方式中，所述分割解码器包括顺次连接的多层分割上采样层，其中，第一层分割上采样层的输入为所述第一分割图像和所述定位编码图；除所述第一层分割上采样层之外的其他分割上采样层的输入为上一层分割上采样层输出的分割上采样图，以及对应尺寸的标记图像特征图和切片图像特征图；所述目标区域的图像为所述多层分割下采样层中最后一层分割上采样层输出的分割上采样图。

第二方面，本申请实施例提供了一种图像分割装置，所述装置包括：

切割单元，用于将待处理图像切割为多个切片图像；

定位单元，用于针对所述多个切片图像中的每个切片图像，分别执行如下操作：将所述切片图像输入定位编码器，得到定位编码图，并采用定位解码器，根据所述定位编码图，确定所述切片图像对应的定位结果图像；所述定位结果图像用于标识所述切片图像中的初始目标区域；

融合单元，用于分别将各个目标定位结果图像与对应的切片图像进行融合，得到所述各个目标定位结果图像对应的初始标记图像；所述目标定位结果图像为所包含的初始目标区域的面积达到设定面积阈值的定位结果图像；

分割单元，用于针对各个所述初始标记图像，分别执行如下操作：将所述初始标记图像输入到分割编码器中，得到分割编码图；采用分割解码器，根据所述分割编码图和所述初始标记图像对应的定位编码图，确定所述初始标记图像对应的切片图像中目标区域的图像。

在一种可能的实现方式中，所述融合单元，还用于：

分别将各个目标定位结果图像输入线性层，得到各个目标定位结果图像对应的线性定位结果图像；

将各个线性定位结果图像均与对应的切片图像进行对应位置像素点的像素值相乘，得到初始标记图像。

在一种可能的实现方式中，所述分割单元，还用于：

将分割编码图以及各个目标定位结果图像对应的定位编码图输入调整子网络，得到调整图像；调整子网络包括并行连接的卷积模块、卷积空洞模块和池化模块；

将调整图像输入分割卷积层，得到第一分割图像；

采用分割解码器，根据第一分割图像和各个目标定位结果图像对应的定位编码图，确定初始标记图像中对应的目标区域的图像。

第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机程序，当计算机程序被处理器执行时，实现第一方面中任一项图像分割方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，实现第一方面中任一项图像分割方法的步骤。

本申请实施例提供的图像分割方法，将待处理图像切割为多个切片图像，针对每个切片图像，先采用定位编码器和定位解码器粗略地确定切片图像中的目标对象的初始目标区域，对于初始目标区域的面积小于设定面积阈值的切片图像，认为该切片图像中不包含目标对象。仅采用分割编码器和分割解码器对包含目标对象的切片图像的定位结果图像进行进一步处理，可以在很大程度上减少数据处理量，提高处理效率。并且，本申请实施例利用分割解码器对分割编码器输出的分割编码图和定位编码器输出的相对应的定位编码图一同进行解码，重构分割解码器中上采样的过程，在该上采样过程中，同时考虑分割编码器和定位编码器的输出，可以使最终得到的目标区域的图像更加准确和清晰。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A为本申请实施例提供的一种图像分割方法的流程示意图；

图1B为本申请实施例提供的肾小球图像的示意图；

图1C为本申请实施例提供的肾小球图像切割后的切片图像的示意图；

图2A为本申请实施例提供的一种定位网络处理图像的流程示意图；

图2B为本申请实施例提供的一种定位编码器的结构示意图；

图2C为本申请实施例提供的一种定位解码器的结构示意图；

图3A为本申请实施例提供的一种分割网络处理图像的流程示意图；

图3B为本申请实施例提供的一种分割编码器的结构示意图；

图3C为本申请实施例提供的一种调整子网络处理图像的流程示意图；

图3D为本申请实施例提供的一种分割解码器的结构示意图；

图3E为本申请实施例提供的第二层分割上采样层处理图像的流程示意图；

图4为本申请实施例提供的一种图像分割装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了准确地从高分辨率图像中分割出清晰的包含目标对象的图像。本申请实施例提供了一种图像分割方法、装置、电子设备及存储介质，将待处理图像切割为多个切片图像，针对每个切片图像，先采用定位编码器和定位解码器粗略地确定切片图像中的目标对象的初始目标区域，对于初始目标区域的面积小于设定面积阈值的切片图像，认为该切片图像中不包含目标对象。将定位结果图像和包含目标对象的切片图像以加权的方式结合，得到初始标记图像。在采用分割编码器和分割解码器对初始标记图像进行处理，利用分割解码器将分割编码图和初始标记图像对应的定位编码图一同进行解码，重构分割解码器中上采样的过程，最终确定初始标记图像对应的切片图像中目标区域的图像。

图1A示出了本申请实施例提供的一种图像分割方法的流程示意图，应用于电子设备，具体可以用于电脑。如图1A所示，该图像分割方法包括如下步骤：

步骤S101：将待处理图像切割为多个切片图像。

在一种可能的实施例中，获取待处理图像，待处理图像可以为任意类型的图像，例如，胸透图像、脑部CT图像等。本申请实施例中以医学中的肾小球图像为例，如图1B所示，图1B为通过CT设备采集的高分辨率的图像。将待处理图像进行切片操作，即建立一个滑动窗口，滑动窗口的步长即为窗口的宽度，依次对待处理图像进行切割，可以得到多个切片图像，得到的切片图像如图1C所示。其中，切片图像中可以仅包括一个细胞，也可以包括多个细胞。

在另一种可能的实施例中，也可以设定切片图像的大小，根据固定的大小对待处理图像进行分割，得到切片图像。

进一步地，进行切片操作后，高分辨率的肾小球图像就被切割成了低分辨率的切片图像，例如，将1024*1024的高分辨率的肾小球图像切割成224*224的低分辨率的图像。

步骤S102：针对多个切片图像中的每个切片图像，分别执行如下操作：将切片图像输入定位编码器，得到定位编码图，并采用定位解码器，根据定位编码图，确定切片图像对应的定位结果图像，定位结果图像用于标识切片图像中的初始目标区域。

在一种可能的实施例中，图2A为本申请实施例提供的一种定位网络处理图像的流程示意图，如图2A所示，定位编码器以及定位解码器可以共同组成定位网络，定位网络采用U型的网络结构，通过卷积以及反卷积的方式对切片图像进行特征提取，输出定位结果图像。定位网络对待处理图像进行了粗略的图像定位，可以定位出待处理图像病灶区域的图像。

需要说明的是，定位编码器中包括的定位下采样层数与定位解码器中包括的定位上采样层数相同，并且可以进行对应更改。若定位编码器中包括四层定位下采样层，那么定位解码器中也应该包括四层定位上采样层。若定位编码器中包括五层定位下采样层，那么定位解码器中也应该包括五层定位上采样层。其中，最后一层定位下采样层的输出为第一层分割上采样层的输入。

定位结果图像用于标识切片图像中的初始目标区域，其中，定位结果图像为二值化图像，初始目标区域可以为病灶区域，也可以为包含单个细胞的区域，或者，包含多个细胞的区域，后续举例均以目标区域为病灶区域为例。若某一定位结果图像中不包含初始目标区域，则认为此定位结果图像中不包含病灶区域，则无需进行后续步骤，将此定位结果图像舍弃；若某一定位结果图像中包含病灶区域，则此定位结果图像需要进行后续步骤，将此定位结果图像保留。

举例说明，在肾小球图像中，多个细胞可能已经发生病变，被切割成切片图像后，病灶区域被分割在每个切片图像中，但是每个切片图像中包含的病灶区域大小不同，而定位解码器输出的定位结果图像是二值化图像，利用0来表示定位结果图像中不是病灶区域的部分，用1表示定位结果图像中是病灶区域的部分。在多张定位结果图像中，若某一张定位结果图像的标记结果均为0，则说明此张定位结果图像为不包含病灶区域的图像，对后续医生判断病人病情没有用处，可以舍弃；若某一张定位结果图像的标记结果存在1，则说明此张定位结果图像为包含病灶区域的图像，对后续医生判断病人的病情有用，则保留。

在一种可能的实现方式中，定位编码器包括顺次连接的多层定位下采样层，其中，第一层定位下采样层的输入为切片图像，除第一层定位下采样层之外的其他定位下采样层的输入为上一层定位下采样层输出的切片图像特征图，各层定位下采样层输出的切片图像特征图的尺寸不同，定位编码图为多层定位下采样层中最后一层定位下采样层输出的切片图像特征图。

在一种可能的实施例中，将定位编码器设定为包括三层定位下采样层的编码器。第一层定位下采样层可以为一个卷积层。针对一个切片图像，将切片图像输入到定位编码器的第一层定位下采样层中，举例说明，第一层可以配置为卷积核大小为7*7，采样间隔为2，通道数为64的卷积层，对输入的切片图像进行特征提取，并输出切片图像特征图。

定位编码器中除第一层定位下采样层之外的其他定位下采样层可以为瓶颈(bottleneck)结构的采样层，输入为上一层定位下采样层输出的切片图像特征图，输出为不同尺寸的切片图像特征图。使图像在进行特征提取前，具有较小的输入尺寸，在特征提取后，又可以具有较大的输出尺寸，采用这样的结构主要目的是为了减少参数的数量，从而减少计算量，更加有效、直观地对图像进行特征提取。

进一步地，在定位编码器中，第一层定位下采样层与第二层定位下采样层之间可以添加最大池化(maxpool)层，输入为切片图像特征图，输出为最大池化切片图像特征图。添加最大池化层可以使减小下一层输入大小，减小计算量和参数个数，以及通过压缩像素点的方式来增大感受野。最大池化层并非定位下采样层中的一层，而是单独在第一层定位下采样层与第二层定位下采样层之间添加的，最大池化层的采样间隔可以配置为2。

示例性地，图2B示出了一种定位编码器的具体结构示意图，如图2B所示，该定位编码器包括三层定位下采样层。其中，第一层定位下采样层为卷积层，在卷积层和第二定位下采样层中间，还包括最大池化层。其中卷积层的卷积核可以配置为7*7，采样间隔为2，通道数为64，输入为切片图像，输出可以记为conv1，最大池化层的采样间隔可以配置为2，输入为conv1，输出可以记为maxpool1，第二层定位下采样层的卷积核大小为3×3，采样间隔为1，通道数为64，输入为maxpool1，输出可以记为conv2。第三层定位下采样层中的卷积核大小为3×3，采样间隔为2，通道数为128，输入为conv2，输出可以记为conv3，即为定位编码图。

在一种可能的实施方式中，定位解码器包括多层定位上采样层，定位上采样层与定位下采样层的数量相等，其中，第一层定位上采样层的输入为定位编码图，除第一层定位上采样层之外的其他定位上采样层的输入为上一层定位上采样层输出的定位上采样图和对应尺寸的切片图像特征图，定位结果图像为多层定位上采样层中最后一层定位上采样层输出的定位上采样图。

在一种可能的实施例中，定位解码器包括多层定位上采样层，定位解码器的输入为定位编码图，对定位编码图进行反卷积处理，进行特征提取，输出为定位结果图像，定位结果图像为多层定位上采样层中最后一层定位上采样层输出的定位上采样图。

示例性地，图2C示出了一种定位解码器的具体结构示意图，如图2C所示，定位解码器中的定位上采样层与定位编码器中的定位下采样层的层数相同，其中包括三层定位上采样层，第一层定位上采样层的卷积核的大小可以为3x3，采样间隔为2，通道数为64，输入为conv3，输出可以记为deconv1；第二层定位上采样层的卷积核大小为3x3，采样间隔为2，通道数为64，输入为deconv1和conv2，输出可以记为deconv2；第三层定位上采样层的卷积核大小为3x3，采样间隔为2，通道数为1，输入为deconv2和conv1，输出可以记为deconv3，即为定位结果图像。

根据图2A中示出的一种定位网络的结构示意图，输出多个定位结果图像之后，进行步骤S103。

步骤103：分别将各个目标定位结果图像与对应的切片图像进行融合，得到各个目标定位结果图像对应的初始标记图像，目标定位结果图像为所包含的初始目标区域的面积达到设定面积阈值的定位结果图像。

在一种可能的实施例中，定位结果图像均为包含病灶区域的图像，其中，包含的病灶区域有大有小，所以，还需要判断定位结果图像中病灶区域的大小，若某一张定位结果图像的初始目标区域也就是病灶区域的面积达到设定面积阈值，那么认为此张定位结果图像中确定是包含病灶区域，若某一张定位结果图像的初始目标区域也就是病灶区域的面积没有达到设定面积阈值，那么认为这张定位结果图像中的病灶区域可能为误判，设定面积阈值可以根据不同的图像分割任务设定不同的阈值。

进一步地，保留了达到设定面积阈值的目标定位结果图像，还需要将各个目标定位结果图像与对应的切片图像进行融合，得到各个目标定位结果图像对应的初始标记图像，每个初始标记图像均为利用加权的方式将目标定位结果图像与切片图像结合得到的图像。

举例说明，以一张定位结果图像为例，图像的面积中包含10个像素点，设定面积阈值为面积包含3个像素点，在判断的过程中，被判断为病灶区域的面积中包含6个像素点，那么此定位结果图像为目标定位结果图像；被判断为病灶区域的面积中仅包含1个像素点，没有达到设定面积阈值，那么此定位结果图像包含的病灶区域可能为误判，或者，为在切割待处理图像时，切割到的病灶区域的边缘，对医生判断病人的病情没有用处。则可以将病灶区域只包含1个像素点的定位结果图像舍弃，只保留达到设定面积阈值的目标定位结果图像。在将保留下来的目标定位结果图像与对应的切片图像进行融合，相当于在待处理图像中定位了病灶区域，直接将病灶区域呈现出来，可以提高医生判断病人病情的效率。

在一种可能的实现方式中，步骤S103还包括以下步骤：

步骤S1031：分别将各个目标定位结果图像输入线性层，得到各个目标定位结果图像对应的线性定位结果图像。

步骤S1031：将各个线性定位结果图像均与对应的切片图像进行对应位置像素点的像素值相乘，得到初始标记图像。

在一种可能的实施例中，将目标定位结果图像输入线性层，得到线性定位结果图像。由于目标定位结果图像是二值化图像，直接与切片图像进行融合的效果不好，所以将目标定位结果图像输入线性层中，对二值化图像进行处理，处理后得到的线性定位结果图像变为正常的图像，再与切片图像进行加权。具体的加权方式为，将各个线性定位结果图像均与对应的切片图像进行对应位置像素点的像素值相乘。

示例性地，将大小为224*224*1的图像输入线性层，线性层的卷积核大小可以配置为1*1，通道数可以为3，输入即为deconv3，经过线性层得到的线性定位结果图像大小为224*224*3，再与大小为224*224*3的切片图像对应位置像素点的像素值进行点乘得到初始标记图像，输出可以记为input1。

步骤S104：针对各个初始标记图像，分别执行如下操作：将初始标记图像输入到分割编码器中，得到分割编码图，采用分割解码器，根据分割编码图和初始标记图像对应的定位编码图，确定初始标记图像对应的切片图像中目标区域的图像。

在一种可能的实施例中，图3A为本申请实施例提供的一种分割网络处理图像的流程示意图，如图3A所示，分割编码器、分割解码器、调整子网络以及分割卷积层共同组成分割网络，分割网络也采用U型的网络结构，通过卷积以及反卷积的方式对初始标记图像进行处理，输出切片图像中目标区域的图像。分割网络对初始标记图像进行了特征提取以及像素重组，输入是分辨率较低的初始标记图像，输出是分辨率较高的保留下来的病灶区域的图像。

进一步地，根据分割编码图和初始标记图像对应的定位编码图，在经过分割解码器的处理后，可以确定初始标记图像对应的切片图像中目标区域的图像，此过程将有两个编码器生成的编码图像一同进行解码，在增加分割精度，增加感受野，增加更多语义信息的同时，还重构了图像在分割解码器中的上采样过程。

需要说明的是，分割编码器中包括的分割下采样层数与分割解码器中包括的分割上采样层数相同，并且可以进行对应更改。若分割编码器中包括四层分割下采样层，那么分割解码器中也应该包括四层分割上采样层。若分割编码器中包括五层分割下采样层，那么分割解码器中也应该包括五层分割上采样层。其中，最后一层分割下采样层的输出为第一层分割上采样层的输入。

定位网络中包括定位编码器和定位解码器，分割网络中包括分割编码器和分割解码器，定位编码器的中每一层定位下采样层的输出作为对应的分割上采样层的输入，所以，定位下采样层的层数与分割上采样层的层数相同，由于分割编码器中包括的分割下采样层数与分割解码器中包括的分割上采样层数相同以及定位编码器中包括的定位下采样层数与定位解码器中包括的定位上采样层数相同，所以定位下采样层、定位上采样层、分割下采样层以及分割上采样层的层数均相同。

进一步地，根据分割编码图和初始标记图像对应的定位编码图，确定初始标记图像对应的切片图像中目标区域的图像，将初始标记图像对应的定位编码图也作为分割解码器的输入。举例说明，定位编码器包括三层定位下采样层，将第三层定位下采样层的输出conv3作为分割解码器中第一层分割上采样层的输入，同时，输入到第一层分割上采样层的还包括分割编码图。

在一种可能的实现方式中，确定初始标记图像对应的切片图像中目标区域的图像之后，根据每一张目标区域的图像以及待处理图像，得到包含所有目标区域的目标图像。

具体地说，经过分割网络得到的目标区域的图像是很多张图像，每一张图像中均包括目标区域，将每一张目标区域的图像在待处理图像中找到对应关系，将每一张目标区域的图像进行拼接，得到包含所有目标区域的目标图像。此拼接过程可以只为将每一张目标区域的图像放在一起，便于医生进行观看和判断病情。

在一种可能的实现方式中，分割编码器包括顺次连接的多层分割下采样层，其中，第一层分割下采样层的输入为初始标记图像，除第一层分割下采样层之外的其他分割下采样层的输入为上一层分割下采样层输出的标记图像特征图，各层分割下采样层输出的标记图像特征图的尺寸不同，分割编码图为多层分割下采样层中最后一层分割下采样层输出的标记图像特征图。

在一种可能的实施例中，第一层分割下采样层可以为一个卷积层。针对一个切片图像，将切片图像输入到定位编码器的第一层定位下采样层中，举例说明，第一层可以配置为卷积核大小为7*7，采样间隔为2，通道数为64的卷积层，对输入的初始标记图像进行特征提取，并输出标记图像特征图。

分割编码器中除第一层分割下采样层之外的其他分割下采样层可以为瓶颈结构(bottleneck)的采样层，输入为上一层分割下采样层输出的标记图像特征图，输出为不同尺寸的标记图像特征图。使图像在进行特征提取前，具有较小的输入尺寸，在特征提取后，又可以具有较大的输出尺寸，采用这样的结构主要目的是为了减少参数的数量，从而减少计算量，更加有效、直观地对标记图像进行特征提取。

进一步地，在分割编码器中，第一层分割下采样层与第二层分割下采样层之间可以添加最大池化层，输入为标记图像特征图，输出为最大池化标记图像特征图。添加最大池化层可以使减小下一层输入大小，减小计算量和参数个数，以及通过压缩像素点的方式来增大感受野。最大池化层并非分割下采样层中的一层，而是单独在第一层分割下采样层与第二层分割下采样层之间添加的，最大池化层的采样间隔可以配置为2。

示例性地，图3B示出了一种分割编码器的结构示意图，如图3B所示，分割编码器中包括三层分割下采样层，其中，第一层分割下采样层为卷积层，在卷积层和第二层分割下采样层之间还包括最大池化层。其中卷积层的卷积核可以配置为7*7，采样间隔为2，通道数为64，输入为input1，输出记为conv4；最大池化层的采样间隔可以配置为2，输入为conv1，输出可以记为maxpool2，第二层分割下采样层的卷积核可以为3×3，采样间隔为1，通道数为64，输入为maxpool2，输出可以记为conv5；第三层分割下采样层中的卷积核大小为3×3，采样间隔为2，通道数为128，输入为conv5，输出可以记为conv6，即为分割编码图。

在一种可能的实现方式中，步骤S104中采用分割解码器，根据分割编码图和初始标记图像对应的定位编码图，确定初始标记图像对应的切片图像中目标区域的图像，还包括：

将分割编码图以及各个目标定位结果图像对应的定位编码图输入调整子网络，得到调整图像，调整子网络包括并行连接的卷积模块、卷积空洞模块和池化模块，将调整图像输入分割卷积层，得到第一分割图像，采用分割解码器，根据第一分割图像和各个目标定位结果图像对应的定位编码图，确定初始标记图像中对应的目标区域的图像。

在一种可能的实施例中，图3C为本申请实施例提供的一种调整子网络处理图像的流程示意图，如图3C所示，调整子网络中包括并行连接的卷积模块、卷积空洞模块和池化模块。其中，卷积模块的参数可以设置为卷积核大小为1*1，通道数64；卷积空洞模块的数量可以根据需要进行更改，此处可以为3个，卷积核的大小为3*3，采样间隔分别设置为6、12、18。池化模块可以采用自适应池化的方式。调整子网络的输入为分割编码图以及各个目标定位结果图像对应的定位编码图，也就是conv3和conv6，输出为调整图像，可以记为conv7，利用调整子网络可以增大图像的感受野，以使图像的分辨率更高。

分割卷积层中的参数可以设置成卷积核大小为1*1，通道数为256，利用一层卷积层将输入的调整图像的特征重新整理，输出为第一分割图像，可以记为conv8，分割卷积层可以使输出的第一分割图像可以更好的进行像素重组。将第一分割图像作为第一层分割上采样层的输入，根据第一分割图像和各个目标定位结果图像对应的定位编码图，确定初始标记图像中对应的目标区域的图像。

进一步地，在调整子网络和分割卷积层之间可以添加串联层，将调整子网络中多个并行连接的模块输出进行整合，输入到分割卷积层中。

在一种可能的实现方式中，分割解码器包括顺次连接的多层分割上采样层，其中，第一层分割上采样层的输入为第一分割图像和定位编码图，除第一层分割上采样层之外的其他分割上采样层的输入为上一层分割上采样层输出的分割上采样图，以及对应尺寸的标记图像特征图和切片图像特征图，目标区域的图像为多层分割下采样层中最后一层分割上采样层输出的分割上采样图。

在一种可能的实施例中，分割解码器包括多层分割上采样层，对输入的图像进行反卷积处理，进行特征提取，输出为分割上采样图像，目标区域的图像为多层定位上采样层中最后一层定位上采样层输出的分割上采样图像，由分割解码器输出的目标区域的图像是具有较高分辨率的图像，其中目标区域可以是病灶区域。

示例性地，图3D示出了一种分割解码器的结构示意图，如图3D所示，分割解码器包括三层分割上采样层，第一层分割上采样的卷积核大小为3*3，采样间隔为2，通道数为64，输入为conv8和conv3，输出可以记为deconv4；第二层分割上采样层的卷积核大小为3*3，采样间隔为2，通道数为64，输入为conv2、deconv4以及conv5，输出可以记为deconv5；第三层分割上采样层的卷积核大小为3*3，采样间隔为2，通道数为1，输入为conv1、deconv5以及conv4，输出可以记为deconv6，即为目标区域的图像。

其中，每一层分割上采样层的内部结构可以包括像素重组模块以及上采样卷积模块，如图3E所示，图3E以分割解码器中第二层分割上采样层为例。其中，将第一分割图像输入第一层分割上采样层中的像素重组模块进行像素重组(pixel shuffel)，得到第一像素重组图像，以作为上采样卷积模块的输入。将第一像素重组图像以及定位编码图输入第一层分割上采样层中的上采样卷积模块中，提取图像中的特征，进行卷积处理，得到第一层分割上采样图，上采样卷积模块中可以进行多次卷积，可以包括多个卷积单元，卷积单元的卷积核可以为3*3。除第一层分割上采样层之外的其他分割上采样层中的像素重组模块的输入均为上一层分割上采样层输出的分割上采样图，除第一层分割上采样层之外的其他分割上采样层中的上采样卷积模块的输入为对应尺寸的标记图像特征图、切片图像特征图以及其他分割上采样层中的像素重组模块输出的像素重组图像。

示例性地，以第二层分割上采样层为例，像素重组模块的输入为deconv4，输出可以记为pixel shuffel2，第一个上采样卷积单元的输入为pixel shuffel2、conv2以及conv5，输出可以记为C2，第二个卷积单元的输入为C2，输出为deconv5。

具体地说，若定位下采样层、定位上采样层、分割下采样层以及分割上采样层均为三层，则第二层分割上采样层的输入为第一分割上采样图像、第二分割下采样图像以及第二定位下采样图像。其中，第一分割上采样图像直接输入第二层分割上采样层中的像素重组模块，得到第二像素重组图像；在将第二像素重组图像、第二分割下采样图像以及第二定位下采样图像输入第二层分割上采样层中的上采样卷积模块中，得到第二分割上采样图像。只有分割上采样图像才会进行像素重组，然后在一起进行反卷积处理，将有两个编码器生成的编码图像一同进行解码，在增加分割精度，增加感受野，增加更多语义信息的同时，还重构了图像在分割解码器中的上采样过程。

本申请实施例还提供了一种图像分割装置。图4为本申请实施例的提供的图像分割装置的结构示意图；如图4所示，该图像分割装置包括：

切割单元401，用于将待处理图像切割为多个切片图像；

定位单元402，用于针对多个切片图像中的每个切片图像，分别执行如下操作：将切片图像输入定位编码器，得到定位编码图，并采用定位解码器，根据定位编码图，确定切片图像对应的定位结果图像；定位结果图像用于标识切片图像中的初始目标区域；

融合单元403，用于分别将各个目标定位结果图像与对应的切片图像进行融合，得到各个目标定位结果图像对应的初始标记图像；目标定位结果图像为所包含的初始目标区域的面积达到设定面积阈值的定位结果图像；

分割单元404，用于针对各个初始标记图像，分别执行如下操作：将初始标记图像输入到分割编码器中，得到分割编码图；采用分割解码器，根据分割编码图和初始标记图像对应的定位编码图，确定初始标记图像对应的切片图像中目标区域的图像。

在一种可能的实现方式中，定位编码器包括顺次连接的多层定位下采样层，其中，第一层定位下采样层的输入为切片图像；除第一层定位下采样层之外的其他定位下采样层的输入为上一层定位下采样层输出的切片图像特征图；各层定位下采样层输出的切片图像特征图的尺寸不同，定位编码图为多层定位下采样层中最后一层定位下采样层输出的切片图像特征图。

在一种可能的实现方式中，定位解码器包括多层定位上采样层，定位上采样层与定位下采样层的数量相等；其中，第一层定位上采样层的输入为定位编码图；除第一层定位上采样层之外的其他定位上采样层的输入为上一层定位上采样层输出的定位上采样图和对应尺寸的切片图像特征图；定位结果图像为多层定位上采样层中最后一层定位上采样层输出的定位上采样图。

在一种可能的实现方式中，融合单元403，还用于：

分别将各个目标定位结果图像输入线性层，得到各个目标定位结果图像对应的线性定位结果图像；

将各个线性定位结果图像均与对应的切片图像进行对应位置像素点的像素值相乘，得到初始标记图像。

在一种可能的实现方式中，分割编码器包括顺次连接的多层分割下采样层，其中，第一层分割下采样层的输入为初始标记图像；除第一层分割下采样层之外的其他分割下采样层的输入为上一层分割下采样层输出的标记图像特征图；各层分割下采样层输出的标记图像特征图的尺寸不同，分割编码图为多层分割下采样层中最后一层分割下采样层输出的标记图像特征图。

在一种可能的实现方式中，分割单元404，还用于：

将分割编码图以及各个目标定位结果图像对应的定位编码图输入调整子网络，得到调整图像；调整子网络包括并行连接的卷积模块、卷积空洞模块和池化模块；

将调整图像输入分割卷积层，得到第一分割图像；

采用分割解码器，根据第一分割图像和各个目标定位结果图像对应的定位编码图，确定初始标记图像中对应的目标区域的图像。

在一种可能的实现方式中，分割解码器包括顺次连接的多层分割上采样层，其中，第一层分割上采样层的输入为第一分割图像和定位编码图；除第一层分割上采样层之外的其他分割上采样层的输入为上一层分割上采样层输出的分割上采样图，以及对应尺寸的标记图像特征图和切片图像特征图；目标区域的图像为多层分割下采样层中最后一层分割上采样层输出的分割上采样图。

与上述方法实施例相对应地，本申请实施例还提供了一种电子设备。该电子设备可以是服务器，也可以是移动终端或计算机等终端设备，该电子设备至少包括用于存储数据的存储器和用于数据处理的处理器。其中，对于用于数据处理的处理器而言，在执行处理时，可以采用微处理器、CPU、GPU(Graphics Processing Unit，图形处理单元)、DSP或FPGA实现。对于存储器来说，存储器中存储有操作指令，该操作指令可以为计算机可执行代码，通过该操作指令来实现上述本申请实施例的游戏控制方法的流程中的各个步骤。

图5为本申请实施例提供的一种电子设备的结构示意图；如图5所示，本申请实施例中该电子设备500包括：处理器510、显示器520、存储器530、输入设备540、总线550；该处理器510、显示器520、存储器530、输入设备540均通过总线550连接，该总线550用于该处理器510、显示器520、存储器530、输入设备540之间传输数据。

其中，存储器530可用于存储软件程序以及模块，处理器510通过运行存储在存储器530中的软件程序以及模块，从而执行电子设备500的各种功能应用以及数据处理，如本申请实施例提供的图像切割方法。存储器530可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个应用的应用程序等；存储数据区可存储根据电子设备500的使用所创建的数据等。此外，存储器530可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器510是电子设备500的控制中心，利用总线550以及各种接口和线路连接整个电子设备500的各个部分，通过运行或执行存储在存储器530内的软件程序和/或模块，以及调用存储在存储器530内的数据，执行电子设备500的各种功能和处理数据。可选的，处理器510可包括一个或多个处理单元，如CPU、GPU(Graphics Processing Unit，图形处理单元)、数字处理单元等。

输入设备540主要用于获得用户的输入操作，当该电子设备不同时，该输入设备540也可能不同。例如，当该电子设备为医用电脑时，输入设备540可以为鼠标。

本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于实现本申请任一实施例所记载的图像分割方法。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (8)

1.一种图像分割方法，其特征在于，所述方法包括：

将待处理图像切割为多个切片图像；

针对所述多个切片图像中的每个切片图像，分别执行如下操作：将所述切片图像输入定位编码器，得到定位编码图，所述定位编码图为定位编码器包括的多层定位下采样层中最后一层定位下采样层输出的切片图像特征图；并采用定位解码器，根据所述定位编码图，确定所述切片图像对应的定位结果图像；所述定位结果图像用于标识所述切片图像中的初始目标区域；

分别将各个目标定位结果图像与对应的切片图像进行融合，得到所述各个目标定位结果图像对应的初始标记图像；所述目标定位结果图像为所包含的初始目标区域的面积达到设定面积阈值的定位结果图像；

针对各个所述初始标记图像，分别执行如下操作：将所述初始标记图像输入到分割编码器中，得到分割编码图，所述分割编码图为分割编码器包括的多层分割下采样层中最后一层分割下采样层输出的标记图像特征图；采用分割解码器，根据所述分割编码图和所述初始标记图像对应的定位编码图，确定所述初始标记图像对应的切片图像中目标区域的图像；

所述采用分割解码器，根据所述分割编码图和所述初始标记图像对应的定位编码图，确定所述初始标记图像对应的切片图像中目标区域的图像，包括：

将所述分割编码图以及所述各个目标定位结果图像对应的定位编码图输入调整子网络，得到调整图像；所述调整子网络包括并行连接的卷积模块、卷积空洞模块和池化模块；

将所述调整图像输入分割卷积层，得到第一分割图像；

采用分割解码器，根据所述第一分割图像和所述各个目标定位结果图像对应的定位编码图，确定所述初始标记图像中对应的目标区域的图像；

所述分割解码器包括顺次连接的多层分割上采样层，其中，每一层分割上采样层包括像素重组模块以及上采样卷积模块，将第一分割图像输入第一层分割上采样层中的像素重组模块进行像素重组，得到第一像素重组图像，将第一像素重组图像以及定位编码图输入第一层分割上采样层中的上采样卷积模块，得到第一层分割上采样图；除第一层分割上采样层之外的其他分割上采样层中的像素重组模块的输入均为上一层分割上采样层输出的分割上采样图，除第一层分割上采样层之外的其他分割上采样层中的上采样卷积模块的输入为对应尺寸的标记图像特征图、切片图像特征图以及其他分割上采样层中的像素重组模块输出的像素重组图像；所述目标区域的图像为所述多层分割下采样层中最后一层分割上采样层输出的分割上采样图。

2.根据权利要求1所述的方法，其特征在于，所述定位编码器包括顺次连接的多层定位下采样层，其中，第一层定位下采样层的输入为切片图像；除所述第一层定位下采样层之外的其他定位下采样层的输入为上一层定位下采样层输出的切片图像特征图；各层定位下采样层输出的切片图像特征图的尺寸不同，所述定位编码图为所述多层定位下采样层中最后一层定位下采样层输出的切片图像特征图。

3.根据权利要求2所述的方法，其特征在于，所述定位解码器包括多层定位上采样层，所述定位上采样层与所述定位下采样层的数量相等；其中，第一层定位上采样层的输入为所述定位编码图；除所述第一层定位上采样层之外的其他定位上采样层的输入为上一层定位上采样层输出的定位上采样图和对应尺寸的切片图像特征图；所述定位结果图像为所述多层定位上采样层中最后一层定位上采样层输出的定位上采样图。

4.根据权利要求1~3中任一项所述的方法，其特征在于，所述分别将各个目标定位结果图像与对应的切片图像进行融合，得到所述各个目标定位结果图像对应的初始标记图像，包括：

分别将所述各个目标定位结果图像输入线性层，得到所述各个目标定位结果图像对应的线性定位结果图像；

将各个线性定位结果图像均与对应的切片图像进行对应位置像素点的像素值相乘，得到所述初始标记图像。

5.根据权利要求1所述的方法，其特征在于，所述分割编码器包括顺次连接的多层分割下采样层，其中，第一层分割下采样层的输入为所述初始标记图像；除所述第一层分割下采样层之外的其他分割下采样层的输入为上一层分割下采样层输出的标记图像特征图；各层分割下采样层输出的标记图像特征图的尺寸不同，所述分割编码图为所述多层分割下采样层中最后一层分割下采样层输出的标记图像特征图。

6.一种图像分割装置，其特征在于，所述装置包括：

切割单元，用于将待处理图像切割为多个切片图像；

定位单元，用于针对所述多个切片图像中的每个切片图像，分别执行如下操作：将所述切片图像输入定位编码器，得到定位编码图，所述定位编码图为定位编码器包括的多层定位下采样层中最后一层定位下采样层输出的切片图像特征图；并采用定位解码器，根据所述定位编码图，确定所述切片图像对应的定位结果图像；所述定位结果图像用于标识所述切片图像中的初始目标区域；

融合单元，用于分别将各个目标定位结果图像与对应的切片图像进行融合，得到所述各个目标定位结果图像对应的初始标记图像；所述目标定位结果图像为所包含的初始目标区域的面积达到设定面积阈值的定位结果图像；

分割单元，用于针对各个所述初始标记图像，分别执行如下操作：将所述初始标记图像输入到分割编码器中，得到分割编码图，所述分割编码图为分割编码器包括的多层分割下采样层中最后一层分割下采样层输出的标记图像特征图；采用分割解码器，根据所述分割编码图和所述初始标记图像对应的定位编码图，确定所述初始标记图像对应的切片图像中目标区域的图像；

所述分割单元，还用于：

将所述分割编码图以及所述各个目标定位结果图像对应的定位编码图输入调整子网络，得到调整图像；所述调整子网络包括并行连接的卷积模块、卷积空洞模块和池化模块；

将所述调整图像输入分割卷积层，得到第一分割图像；

采用分割解码器，根据所述第一分割图像和所述各个目标定位结果图像对应的定位编码图，确定所述初始标记图像中对应的目标区域的图像；

所述分割解码器包括顺次连接的多层分割上采样层，其中，每一层分割上采样层包括像素重组模块以及上采样卷积模块，将第一分割图像输入第一层分割上采样层中的像素重组模块进行像素重组，得到第一像素重组图像，将第一像素重组图像以及定位编码图输入第一层分割上采样层中的上采样卷积模块，得到第一层分割上采样图；除第一层分割上采样层之外的其他分割上采样层中的像素重组模块的输入均为上一层分割上采样层输出的分割上采样图，除第一层分割上采样层之外的其他分割上采样层中的上采样卷积模块的输入为对应尺寸的标记图像特征图、切片图像特征图以及其他分割上采样层中的像素重组模块输出的像素重组图像；所述目标区域的图像为所述多层分割下采样层中最后一层分割上采样层输出的分割上采样图。

7.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1~5中任一项所述的方法。

8.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1~5中任一项所述的方法。