CN110717913A - 一种图像分割方法及装置 - Google Patents

Abstract

本发明提供一种图像分割方法及装置，利用预设的3D卷积神经网络模型确定获取的待分割图像进行参数调整后的每个目标物的分割图像，利用3D卷积神经网络模型中的提取模块提取待分割图像的至少一个目标物的第一特征图矩阵，像素级显著性增强模块对每个目标物的第一特征图矩阵的参数进行调整，确定每个目标物的像素级的加权矩阵，根据通道级显著性增强模块增强每个目标物的第一特征图矩阵的矩阵通道，确定每个目标物的通道级的加权矩阵，3D残差反卷积模块对增大每个目标物的像素级的加权矩阵和通道级的加权矩阵的和得到目标物的目标矩阵的尺寸进行还原处理，确定进行参数调整后的每个目标物的分割图像。基于本发明，能够得到高精度的分割图像。

Description

一种图像分割方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种图像分割方法及装置。

背景技术

随着社会的快速发展，计算机视觉技术的发展也越来越快，尤其是计算机视觉技术中的图像分割技术。其中，图像分割是指将图像分成若干具有相似性质的区域的过程。

现有的图像分割技术是通过将图像输入传统的2D卷积神经网络中，通过卷积操作提取图像的特征图，再对提取到的特征图进行还原得到分割结果，即分割图像。但是，基于传统的2D卷积神经网络对图像进行分割得到的分割图像的精度低。

发明内容

有鉴于此，本发明的目的在于提供一种图像分割方法及装置，以提高分割图像的精度。

为了实现上述目的，本发明提供如下技术方案：

本发明实施例第一方面公开了一种图像分割方法，该方法包括：

获取待分割图像；

利用预设的3D卷积神经网络模型确定所述待分割图像中进行参数调整后的每个目标物的分割图像，所述3D卷积神经网络模型基于图像样本数据预先训练得到，所述3D卷积神经网络模型包括：提取模块、像素级显著性增强模块、通道级显著性增强模块和3D残差反卷积模块；具体的利用所述预设的3D卷积神经网络模型确定所述待分割图像中进行参数调整后的每个目标物的分割图像的过程包括：

利用所述提取模块，提取所述待分割图像的至少一个目标物的第一特征图矩阵；

利用所述像素级显著性增强模块，对每个所述目标物的第一特征图矩阵中的参数进行调整，确定每个所述目标物的像素级的加权矩阵，其中，所述每个所述目标物的第一特征图矩阵中的参数为所述目标物的像素；

根据所述通道级显著性增强模块，增强每个所述目标物的第一特征图矩阵中的矩阵通道，确定每个所述目标物的通道级的加权矩阵；

利用所述3D残差反卷积模块，针对于每个目标物，计算该目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到所述目标物的目标矩阵，增大每个所述目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定所述待分割图像中进行参数调整后的每个所述目标物的分割图像。

可选的，所述利用所述像素级显著性增强模块，对每个所述目标物的第一特征图矩阵中的参数进行调整，确定每个所述目标物的像素级的加权矩阵，包括：

针对于每一个目标物，利用所述像素级显著性增强模块对所述目标物的特征图矩阵进行维度变换、维度调整以及非线性处理，得到所述目标物的第二特征图矩阵；

将每一个目标物的第一特征图矩阵与所述目标物的第二特征图矩阵进行加权相加，得到每个所述目标物的像素级的加权矩阵。

可选的，所述根据所述通道级显著性增强模块，增强每个所述目标物的第一特征图矩阵中的矩阵通道，确定每个所述目标物的通道级的加权矩阵，包括：

针对与每一个目标物，利用所述通道级显著性增强模块对所述目标物的第一特征图矩阵进行维度变换、维度调整以及非线性处理，得到每个目标物的第三特征图矩阵；

将每一个所述目标物的第一特征图矩阵和所述目标物的第三特征图矩阵进行加权相加，得到每个所述目标物的通道级的加权矩阵。

可选的，所述提取模块包括卷积模块、3D残差卷积模块，所述利用所述提取模块，提取所述待分割图像的至少一个目标物的第一特征图矩阵，包括：

利用所述卷积模块，提取所述待识别图像的至少一个目标物的特征图矩阵；

利用3D残差卷积模块，对每一个目标物的特征图矩阵进行提取，得到所述待识别图像的至少一个目标物的第一特征图矩阵。

本发明实施例第二方面公开了一种图像分割装置，该装置包括：

获取单元，用于获取待分割图像；

3D卷积神经网络模型，用于确定所述待分割图像中进行参数调整后的每个目标物的分割图像，所述3D卷积神经网络模型基于图像样本数据预先训练得到，所述3D卷积神经网络模型包括：提取模块、像素级显著性增强模块、通道级显著性增强模块和3D残差反卷积模块；

所述提取模块，用于提取所述待分割图像的至少一个目标物的第一特征图矩阵；

所述像素级显著性增强模块，用于对每个所述目标物的第一特征图矩阵中的参数进行调整，确定每个所述目标物的像素级的加权矩阵，其中，所述每个所述目标物的第一特征图矩阵中的参数为所述目标物的像素；

所述通道级显著性增强模块，用于增强每个所述目标物的第一特征图矩阵中的矩阵通道，确定每个所述目标物的通道级的加权矩阵；

所述3D残差反卷积模块，用于针对于每个目标物，计算该目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到所述目标物的目标矩阵，增大每个所述目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定所述待分割图像中进行参数调整后的每个所述目标物的分割图像。

可选的，所述像素级的加权矩阵确定单元，包括：

第二特征图矩阵确定单元，用于针对于每一个目标物，利用所述像素级显著性增强模块对所述目标物的特征图矩阵进行维度变换、维度调整以及非线性处理，得到所述目标物的第二特征图矩阵；

像素级的加权矩阵确定子单元，用于将每一个目标物的第一特征图矩阵与所述目标物的第二特征图矩阵进行加权相加，得到每个所述目标物的像素级的加权矩阵。

可选的，所述通道级的加权矩阵确定单元，包括：

第三特征图矩阵确定单元，用于针对与每一个目标物，利用所述通道级显著性增强模块对所述目标物的第一特征图矩阵进行维度变换、维度调整以及非线性处理，得到每个目标物的第三特征图矩阵；

通道级的加权矩阵确定子单元，用于将每一个所述目标物的第一特征图矩阵和所述目标物的第三特征图矩阵进行加权相加，得到每个所述目标物的通道级的加权矩阵。

可选的，所述提取模块包括：

卷积模块，用于提取所述待识别图像的至少一个目标物的特征图矩阵；

3D残差卷积模块，用于提对每一个目标物的特征图矩阵进行提取，得到所述待识别图像的至少一个目标物的第一特征图矩阵。

本发明提供了一种图像分割方法及装置，通过获取待分割图像，利用预设的3D卷积神经网络模型确定待分割图像中进行参数调整后的每个目标物的分割图像，3D卷积神经网络模型包括：提取模块、像素级显著性增强模块、通道级显著性增强模块和3D残差反卷积模块，具体利用预设的3D卷积神经网络模型确定待分割图像中进行参数调整后的每个目标物的分割图像的过程为：利用提取模块，提取待分割图像的至少一个目标物的第一特征图矩阵；利用像素级显著性增强模块，对每个目标物的第一特征图矩阵中的参数进行调整，确定每个目标物的像素级的加权矩阵，其中，每个所述目标物的第一特征图矩阵中的参数为所述目标物的像素；根据通道级显著性增强模块，增强每个目标物的第一特征图矩阵中的矩阵通道，确定每个目标物的通道级的加权矩阵；利用3D残差反卷积模块，计算每个目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到目标物的目标矩阵，增大每个目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定待分割图像中进行参数调整后的每个目标物的分割图像。本发明提供的技术方案，利用预设的3D卷积神经网络模型确定待分割图像中进行参数调整后的每个目标物的分割图像，能够得到高精度的分割图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种图像分割方法的流程示意图；

图2为本发明实施例提供的一种利用预设的3D卷积神经网络模型确定待分割图像中进行参数调整后的每个目标物的分割图像的方法的流程示意图；

图3为本发明实施例提供的一种Unet网络结构的结构示意图；

图4为本发明实施例提供的一种图像分割装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由上述背景技术可知，现有的图像分割技术是通过将图像输入传统的2D卷积神经网络中，通过卷积操作提取图像的特征图，再对提取到的特征图进行还原得到分割结果，即分割图像。但是，基于传统的2D卷积神经网络对图像进行分割得到的分割图像的精度低。现有的图像分割技术还可以通过将图像输入传统的3D卷积神经网络中，通过卷积操作提取图像的特征图，再对提取到的特征图进行还原得到分割结果，即分割图像。基于传统的3D卷积神经网络虽然能够利用视频的时序信息，但是，基于传统的3D卷积神经网络对图像进行分割得到的分割图像的精度低。

因此，本发明实施例提供了一种图像分割方法及装置，在现有的传统的3D卷积神经网络的基础上，增加了像素级显著性增强模块和通道级显著性增强模块，利用像素级显著性增强模块，对每个目标物的第一特征图矩阵中的参数调整，以及根据通道级显著性增强模块，增强每个目标物的第一特征图矩阵中的矩阵通道，能够得到分割效果更好的加权矩阵，再利用3D残差反卷积模块，增大每个目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，能够得到高精度的分割图像。

参考图1，本发明实施例提供了一种图像分割方法的流程示意图，该图像分割方法包括以下步骤：

S101：获取待分割图像。

在具体执行步骤S101的过程中，可获取单张的待分割图像，也可以获取连续的N张待分割图像，其中，N为大于等于1的正整数。

需要说明的是，获取的待分割图像可以为灰度图像，也可以为彩色图像。

S102：利用预设的3D卷积神经网络模型确定待分割图像中进行参数调整后的每个目标物的分割图像。

在本发明实施例中，3D卷积神经网络模型基于图像样本数据预先训练得到，具体的训练过程为，获取至少一个图像样本，至少一个图像样本中每个图像样本包括对应的图像样本数据，针对于每个图像样本，将该图像样本的图像样本数据输入至待训练的3D卷积神经网络模型，得到待训练的3D卷积神经网络模型对该图像样本的预测分割图像，并以该预测分割图像趋近于目标分割图像为训练目标，更新待训练的3D卷积神经网络模型中的参数，直至待训练的3D卷积神经网络模型达到收敛，得到3D卷积神经网络模型。

需要说明的是，3D卷积神经网络模型包括：提取模块、像素级显著性增强模块、通道级显著性增强模块和3D残差反卷积模块。

具体的利用预设的3D卷积神经网络模型确定待分割图像中进行参数调整后的每个目标物的分割的过程图像如图2所示，包括以下步骤：

S201：利用提取模块，提取待分割图像的至少一个目标物的第一特征图矩阵。

需要说明的是，提取模块包括卷积模块和3D残差卷积模块。

在具体执行步骤S201的过程中，利用卷积模块，提取待分割图像的至少一个目标物的特征图矩阵，针对于每一个目标物，利用3D残差卷积模块对目标物的特征矩阵进行提取，得到待分割图像的至少一个目标物的第一特征图矩阵。

需要说明的是，卷积模块包括3D卷积层、批标准化层、激活函数层；3D残差卷积模块包括第一批标准化层、第一激活函数层、第一3D卷积层、第二批标准化层、第二激活函数层，第二3D卷积层、第三3D卷积层以及Add层。

为了更好对上述内容进行理解，下面进行举例说明。

比如，获取高度为h，宽度为w，厚度为z的待分割图像。为了便于理解，以获取一张待分割图像进行举例说明。

首先，当获取单张的待分割图像的高度为h，宽度为w，厚度为z，将获取的待分割图像依次输入通道数为channel的卷积模块中的卷积核的维度是3×3×3×kernel_size的3D卷积层conv3d、卷积核的维度是h×w×z×kernel_size的批标准化层BN以及卷积核的维度是h×w×z×kernel_size的激活函数层Relu进行特征图矩阵的提取，得到通道数为kernel_size的目标物的特征图矩阵，其中，目标物的特征图矩阵的高度为h，宽度为w，厚度为z。

其次，将得到通道数为kernel_size的目标物的特征图矩阵，输入通道数为channle的3D残差卷积模块中的第一批标准化层BN1、第一激活函数层Relu1、3×3×3×kernel_size第一3D卷积层conv3d1、第二批标准化层BN2、第二激活函数层Relu2，3×3×3×kernel_size第二3D卷积层conv3d2，得到高度为h/2，宽度为w/2，厚度为z/2的通道数为kernel_size的第一结果矩阵。

然后，将得到通道数为kernel_size的目标物的特征图矩阵，输入通道数为channle的3D残差卷积模块中的第三3D卷积层conv3d2中，得到高度为h/2，宽度为w/2，厚度为z/2的通道数为kernel_size的第二结果矩阵。

最后，将第一结果矩阵和第二结果矩阵输入至Add层，得到通道数为kernel_size的目标物的第一特征图矩阵，其中，目标物的第一特征图矩阵的高度为h/2，宽度为w/2，厚度为z/2，也就是说，高度为h，宽度为w，厚度为z的待分割图像在通过卷积模块和3D残差卷积模块处理后，得到至少一个目标物的第一特征图矩阵为(h/2)×(w/2)×(z/2)×kernel_size。

需要说明的是，channl既为通道数，也为目标物的个数。有关channel的具体数值，发明人可根据自己的需求进行设定，本发明实施例不加以限定。

需要说明的是，每通过一个3D残差卷积模块对目标物的特征图矩阵进行进一步的提取后，得到的目标物的第一特征图矩阵的高度、宽度、厚度均降低为原理的高度、宽度、厚度的一半，目标物的第一特征图矩阵的通道数则为原来通道数的几倍甚至几十倍。比如，当预设的3D卷积神经网络包括一个3D残差卷积模块时，在通过3D残差卷积模块进行处理后，目标物的第一特征图矩阵的高度、宽度、厚度均降低为原理的高度、宽度、厚度的一半，当预设的3D卷积神经网络包括2个3D残差卷积模块时，在通过2个3D残差卷积模块进行处理后，目标物的第一特征图矩阵的高度、宽度、厚度均降低为原理的高度、宽度、厚度的四分之一。

以上仅仅是本申请实施例提供的预设的3D卷积神经网络中3D残差卷积模块的个数的优选方式，具体的，发明人可以根据自己的需求进行设置，本发明实施例不加以限定。

S202：利用像素级显著性增强模块，对每个目标物的第一特征图矩阵中的参数进行调整，确定每个目标物的像素级的加权矩阵。

其中，每个目标物的第一特征图矩阵中的参数为目标物的像素。

在具体执行步骤S202的过程中，利用像素级显著性增强模块对每个目标物的第一特征图矩阵进行维度变换、维度调整以及非线性处理，得到目标物的第二特征图矩阵，将每一个目标物的第一特征图矩阵与目标物的第二特征图矩阵进行加权相加，得到每个目标物的像素级的加权矩阵。

为了更好对上述内容进行理解，下面以一个示例进行举例说明。

比如，获取高度为h，宽度为w，厚度为z的待分割图像。为了便于理解，以获取一张待分割图像进行举例说明。

利用提取模块对高度为h，宽度为w，厚度为z的待分割图像在通过卷积模块和3D残差卷积模块处理后，得到至少一个目标物的第一特征图矩阵为(h/2)×(w/2)×(z/2)×kernel_size的特征图矩阵。

A1、利用像素级显著性增强模块的3×3×3×kernel_size卷积层对(h/2)×(w/2)×(z/2)×kernel_size进行卷积，得到h×w×z×kernel_size的特征图矩阵，其中，h为高度、w为宽度、z为厚度，kernel_size为通道数，也为目标物的个数。

A2、对h×w×z×kernel_size的特征图矩阵进行维度变换得到batchsize×t×kernel_size特征图矩阵，具体为将h×w×z×kernel_size的特征图矩阵按照batchsize和kernel_size对目标物的h×w×z进行遍历，将h×w×z展开成一个一维的高维列向量，进而得到batchsize×t×kernel_size特征图矩阵，其中t＝h×w×z。

需要说明的是，由于获取的待分割图像的数量为1，因此，batchsize为1，进而batchsize×t×kernel_size等于t×kernel_size。

A3、对t×kernel_size特征图矩阵的维度进行调整，得到kernel_size×t特征图矩阵。

A4、将kernel_size×t特征图矩阵与t×kernel_size特征图矩阵做乘法运算，得到t×t特征图矩阵。

需要说明的是，在kernel_size×t特征图矩阵与t×kernel_size特征图矩阵进行乘法运算的过程中，若batchsize为大于1的正整数，则需将batchsize×kernel_size×t特征图矩阵与batchsize×t×kernel_size特征图矩阵中的矩阵一一对应相乘。

A5、利用激活函数对t×t特征图矩阵进行非线性映射，得到非线性的t×t特征图矩阵；

A6、对至少一个目标物的第一特征图矩阵为(h/2)×(w/2)×(z/2)×kernel_size特征图矩阵进行维度变换，具体为按照batchsize和kernel_size对目标物的(h/2)×(w/2)×(z/2)进行遍历，将(h/2)×(w/2)×(z/2)展开成一个一维的高维列向量，得到batchsize×t1×kernel_size特征图矩阵，其中t1＝(h/2)×(w/2)×(z/2)，batchsize等于1。

A7、将t1×kernel_size中的t1与kernel_size进行维度变换，得到kernel_size×t1特征图矩阵。

A8、将kernel_size×t1特征图矩阵与非线性的t×t特征图矩阵相乘，得到kernel_size×t特征图矩阵。

需要说明的是，在kernel_size×t1特征图矩阵与非线性的t×t特征图矩阵进行乘法运算的过程中，若batchsize为大于1的正整数，则需将batchsize×kernel_size×t1特征图矩阵与batchsize×t×1特征图矩阵中的矩阵一一对应相乘。

A9、将kernel_size×t特征图矩阵进行还原得到kernel_sizet×h×w×z特征图矩阵。

A10、对kernel_sizet×h×w×z特征图矩阵进行维度变换，得到h×w×z×kernel_sizet特征图矩阵。

A11、利用加权权重为alpha*(step10.result)+input对kernel_sizet×h×w×z特征图矩阵与至少一个目标物的第一特征图矩阵为(h/2)×(w/2)×(z/2)×kernel_size的特征图矩阵进行加权相加，即对每个目标物的第一特征图矩阵中的像素进行调整，得到至少一个目标物的像素级的加权矩阵h1×w1×z1×kernel_sizet，其中，kernel_sizet为目标物的个数。

S203：根据通道级显著性增强模块，增强每个目标物的第一特征图矩阵中的矩阵通道，确定每个目标物的通道级的加权矩阵。

在具体执行步骤S203的过程中，针对与每一个目标物，利用通道级显著性增强模块对目标物的第一特征图矩阵进行维度变换、维度调整以及非线性处理，得到每个目标物的第三特征图矩阵，将每一个目标物的第一特征图矩阵和目标物的第三特征图矩阵进行加权相加，得到每个目标物的通道级的加权矩阵。

为了更好对上述内容进行理解，下面以一个示例进行举例说明。

比如，获取高度为h，宽度为w，厚度为z的待分割图像。为了便于理解，以获取一张待分割图像进行举例说明。

利用提取模块对高度为h，宽度为w，厚度为z的待分割图像在通过卷积模块和3D残差卷积模块处理后，得到至少一个目标物的第一特征图矩阵为(h/2)×(w/2)×(z/2)×kernel_size第一特征图矩阵，其中，kernel_size为目标物的个数。

B1、利用通道级显著性增强模块的3×3×3×channel_size卷积层对(h/2)×(w/2)×(z/2)×channel_size第一特征图矩阵进行卷积，得到h×w×z×channel_size的特征图矩阵，其中，h为高度、w为宽度、z为厚度，channel_size为通道数，也为目标物的个数。

B2、对h×w×z×channel_size的特征图矩阵进行维度变换得到batchsize×t×channel_size特征图矩阵，具体为将batchsize×h×w×z×channel_size的特征图矩阵按照batchsize和channel_size对目标物的h×w×z进行遍历，将h×w×z展开成一个一维的高维列向量，进而得到batchsize×t×channel_size特征图矩阵，其中t＝h×w×z。

需要说明的是，由于获取的待分割图像的数量为1，因此，batchsize为1，进而batchsize×t×channel_size等于t×channel_size。

B3、对(h/2)×(w/2)×(z/2)×kernel_size第一特征图矩阵进行维度变换得到batchsize×t1×channel_size特征图矩阵，具体为将batchsize×(h/2)×(w/2)×(z/2)×kernel_size第一特征图矩阵按照batchsize和channel_size对目标物的(h/2)×(w/2)×(z/2)进行遍历，将(h/2)×(w/2)×(z/2)展开成一个一维的高维列向量，进而得到batchsize×t1×channel_size特征图矩阵，其中t＝h×w×z。

需要说明的是，由于获取的待分割图像的数量为1，因此，batchsize为1，进而batchsize×t1×channel_size等于t1×channel_size。

B4、将t1×channel_size特征图矩阵进行维度变换，得到channel_size×t1特征图矩阵。

B5、将t1×channel_size特征图矩阵与channel_size×t1特征图矩阵做乘法运算，得到channel_size×channel_size特征图矩阵。

需要说明的是，在t1×channel_size特征图矩阵与channel_size×t1特征图矩阵进行乘法运算的过程中，若batchsize为大于1的正整数，则需将batchsize×channel_size×t1特征图矩阵与batchsize×t1×channel_size特征图矩阵中的矩阵一一对应相乘。

B6、将channel_size×channel_size特征图矩阵按照batchsize和channel_size对目标物的h×w×z进行遍历，将h×w×z展开成一个一维的高维列向量，并对该高维列向量进行pooling操作，即将每一channel_size维度的向量变成1个浮点数，得到channel_size×1特征图矩阵。

需要说明的是，pooling操作可以为maxpoolling操作，也可以为avergePooling操作。发明人可根据需求进行设置，本发明实施例不加以限定。

B7、利用激活函数对channel_size×1特征图矩阵进行非线性映射，得到非线性的channel_size×1特征图矩阵。

需要说明的是，通道级显著性增强模块的激活函数可以为sigmoid函数。发明人可根据实际需求进行选择，本发明实施例不加以限定。

B8、将非线性的channel_size×1特征图矩阵与channel_size×channel_size特征图矩阵做乘法运算，得到channel_size×channel_size特征图矩阵。

需要说明的是，在对非线性的channel_size×1特征图矩阵与channel_size×channel_size特征图矩阵进行乘法运算的过程中，channel_size×1特征图矩阵中的元素(参数)需要与channel_size×channel_size特征图矩阵中对应的元素(参数)一一对应相乘。

B9、将channel_size×channel_size特征图矩阵与t×channel_size特征图矩阵做乘法运算，得到channel_size×t特征图矩阵，且channel_size×t特征图矩阵为一个3维的特征图矩阵。

需要说明的是，在channel_size×channel_size特征图矩阵与t×channel_size特征图矩阵做乘法运算的过程中，若batchsize为大于1的正整数，则需将batchsize×channel_size×channel_size特征图矩阵与batchsize×t×channel_size特征图矩阵中的矩阵一一对应相乘。

B10、将channel_size×t特征图矩阵batchsize和channel_size对目标物的h×w×z进行遍历，将h×w×z展开成一个t维的高维列向量，并对该高维列向量进行pooling操作，即将每一channel_size维度的向量变成1个浮点数，得到channel_size×1特征图矩阵。

B11、利用激活函数对channel_size×1特征图矩阵进行非线性映射，得到非线性的channel_size×1特征图矩阵。

需要说明的是，通道级显著性增强模块的激活函数可以为sigmoid函数。发明人可根据实际需求进行选择，本发明实施例不加以限定。

B12、将非线性的channel_size×1特征图矩阵与channel_size×t特征图矩阵做乘法运算，得到channel_size×t特征图矩阵。

需要说明的是，在对非线性的channel_size×1特征图矩阵与channel_size×t特征图矩阵进行乘法运算的过程中，channel_size×1特征图矩阵中的元素(参数)需要与channel_size×t特征图矩阵中对应的元素(参数)一一对应相乘。

B13、将channel_size×t特征图矩阵进行维度变换，并将t还原成h×w×z，得到channel_size×h×w×z特征图矩阵。

B14、将channel_size×h×w×z特征图矩阵进行维度互换，得到h×w×z×channel_size特征图矩阵。

B15、利用加权权重为：beta*(step15.result)+input对h×w×z×channel_size特征图矩阵与至少一个目标物的第一特征图矩阵为(h/2)×(w/2)×(z/2)×kernel_size的特征图矩阵进行加权相加，即对增强每个目标物的第一特征图矩阵中的矩阵通道，得到至少一个目标物的通道级的加权矩阵h1×w1×z1×channel_size，其中，channel_size为目标物的个数。

进一步的，在执行步骤S202和步骤S203的过程中，步骤S202和步骤S202可以同时进行，也可以执行步骤S202后再执行步骤S203。步骤S202和步骤S203的执行顺序，发明人可根据自己的需求进行设置，本发明实施例不加以限定。

S204：利用3D残差反卷积模块，针对于每个目标物，计算该目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到目标物的目标矩阵，增大每个目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定待分割图像中进行参数调整后的每个目标物的分割图像。

需要说明的是，3D残差反卷积模块包括反卷积层Deconv3d层、conv3d1层、BN1层、Relu1层、BN2层、Relu2层、conv3d2层、BN2层、Relu3层、conv3d3层、add层。

在具体执行步骤S204的过程中，针对于每个目标物，计算该目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到目标物的目标矩阵，将目标物矩阵依次输入反卷积层Deconv3d层、conv3d1层、BN1层、Relu1层进行处理，得到第一矩阵，将第一矩阵依次输入BN2层、Relu2层、conv3d2层、BN2层、Relu3层、conv3d3层进行处理，得到第二矩阵，将第一矩阵和第二矩阵输入Add层进行处理，增大每个目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定待分割图像中进行参数调整后的每个目标物的分割图像。

进一步的，在本发明实施例中，当3D卷积神经网络模型中包括一个3D残差卷积模块时，3D卷积神经网络模型中对应包括一个3D残差反卷积模块，当3D卷积神经网络模型中包括3个3D残差卷积模块时，3D卷积神经网络中对应包括3个3D残差反卷积模块。比如，当3D卷积神经网络模型为Unet网络结构时，如图3所示，Unet网络结构包括Encoder和Decoder两部分，Encoder包括卷积模块ConvBlock，3个残差卷积模块3D_Residual_ConvBlock，以及像素级显著性增强模块和通道级显著性增强模块SignificanceEnhancementBlock，Decoder包括3个残差卷积模块3D_Residual_ConvBlock对应的3个残差反卷积模块3D_Residual_DeConvBlock以及ConvBlock_Out，在利用3D残差反卷积模块对每个目标物的加权矩阵进行处理的过程中，每经过一个3D残差反卷积模块对针对于每个目标物，计算该目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到目标物的目标矩阵，增大每个目标物的目标矩阵的尺寸后，将增大尺寸后的目标矩阵结合对应的3D残差卷积模块的输出，输入下一个3D残差反卷积模块，直至最后一个3D残差反卷积模块的输出结合对应的3D残差卷积模块的输出，输入至ConvBlock_Out进一步增大每个目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定待分割图像中进行参数调整后的每个目标物的分割图像。

本发明提供了一种图像分割方法及装置，通过获取待分割图像，将待分割图像输入至3D卷积神经网络模型，利用预设的3D卷积神经网络模型确定待分割图像中进行参数调整后的每个目标物的分割图像，利用预设的3D卷积神经网络模型确定待分割图像中进行参数调整后的每个目标物的分割图像，具体过程包括：利用提取模块，提取待分割图像的至少一个目标物的第一特征图矩阵；利用像素级显著性增强模块，对每个目标物的第一特征图矩阵中的参数进行调整，确定每个目标物的像素级的加权矩阵，其中，每个目标物的第一特征图矩阵中的参数为目标物的像素；根据通道级显著性增强模块，增强每个目标物的第一特征图矩阵中的矩阵通道，确定每个目标物的通道级的加权矩阵；利用3D残差反卷积模块，计算每个目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到目标物的目标矩阵，增大每个目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定待分割图像中进行参数调整后的每个目标物的分割图像。本发明提供的技术方案，利用预设的3D卷积神经网络模型确定待分割图像中进行参数调整后的每个目标物的分割图像，能够得到高精度的分割图像。

基于本发明实施例公开的一种图像分割方法，本发明实施例还对应公开课一种图像分割装置，如图4所示，该图像分割装置400，包括：

获取单元401，用于获取待分割图像。

3D卷积神经网络模型402，用于确定待分割图像中进行参数调整后的每个目标物的分割图像，3D卷积神经网络模型基于图像样本数据预先训练得到，3D卷积神经网络模型包括：提取模块、像素级显著性增强模块、通道级显著性增强模块和3D残差反卷积模块。

提取模块，用于提取待分割图像的至少一个目标物的第一特征图矩阵。

像素级显著性增强模块，用于对每个目标物的第一特征图矩阵中的参数进行调整，确定每个目标物的像素级的加权矩阵，其中，每个目标物的第一特征图矩阵中的参数为目标物的像素。

通道级显著性增强模块，用于增强每个目标物的第一特征图矩阵中的矩阵通道，确定每个目标物的通道级的加权矩阵。

3D残差反卷积模块，用于针对于每个目标物，计算该目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到目标物的目标矩阵，增大每个目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定待分割图像中进行参数调整后的每个目标物的分割图像。

本发明提供了一种图像分割装置，通过获取单元获取待分割图像，通过3D卷积神经网络模型确定待分割图像中进行参数调整后的每个目标物的分割图像，3D卷积神经网络模型包括：提取模块、像素级显著性增强模块、通道级显著性增强模块和3D残差反卷积模块，通过提取模块提取待分割图像的至少一个目标物的第一特征图矩阵，通过像素级显著性增强模块对每个目标物的第一特征图矩阵中的参数进行调整，确定每个目标物的像素级的加权矩阵，通过通道级显著性增强模块增强每个目标物的第一特征图矩阵中的矩阵通道，确定每个目标物的通道级的加权矩阵，通过3D残差反卷积模块计算每个目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到目标物的目标矩阵，增大每个目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定待分割图像中进行参数调整后的每个目标物的分割图像。本发明提供的技术方案，利用预设的3D卷积神经网络模型确定待分割图像中进行参数调整后的每个目标物的分割图像，能够得到高精度的分割图像。

优选的，像素级的加权矩阵确定单元，包括：

第二特征图矩阵确定单元，用于针对于每一个目标物，利用像素级显著性增强模块对目标物的特征图矩阵进行维度变换、维度调整以及非线性处理，得到目标物的第二特征图矩阵。

像素级的加权矩阵确定子单元，用于将每一个目标物的第一特征图矩阵与目标物的第二特征图矩阵进行加权相加，得到每个目标物的像素级的加权矩阵。

优选的，通道级的加权矩阵确定单元，包括：

第三特征图矩阵确定单元，用于针对与每一个目标物，利用通道级显著性增强模块对目标物的第一特征图矩阵进行维度变换、维度调整以及非线性处理，得到每个目标物的第三特征图矩阵。

通道级的加权矩阵确定子单元，用于将每一个所述目标物的第一特征图矩阵和目标物的第三特征图矩阵进行加权相加，得到每个目标物的通道级的加权矩阵。

优选的，提取模块包括：

卷积模块，用于提取待识别图像的至少一个目标物的特征图矩阵；

3D残差卷积模块，用于提对每一个目标物的特征图矩阵进行提取，得到待识别图像的至少一个目标物的第一特征图矩阵。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种图像分割方法，其特征在于，该方法包括：

获取待分割图像；

利用预设的3D卷积神经网络模型确定所述待分割图像中进行参数调整后的每个目标物的分割图像，所述3D卷积神经网络模型基于图像样本数据预先训练得到，所述3D卷积神经网络模型包括：提取模块、像素级显著性增强模块、通道级显著性增强模块和3D残差反卷积模块；具体的利用所述预设的3D卷积神经网络模型确定所述待分割图像中进行参数调整后的每个目标物的分割图像的过程包括：

利用所述提取模块，提取所述待分割图像的至少一个目标物的第一特征图矩阵；

利用所述像素级显著性增强模块，对每个所述目标物的第一特征图矩阵中的参数进行调整，确定每个所述目标物的像素级的加权矩阵，其中，所述每个所述目标物的第一特征图矩阵中的参数为所述目标物的像素；

根据所述通道级显著性增强模块，增强每个所述目标物的第一特征图矩阵中的矩阵通道，确定每个所述目标物的通道级的加权矩阵；

利用所述3D残差反卷积模块，针对于每个目标物，计算该目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到所述目标物的目标矩阵，增大每个所述目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定所述待分割图像中进行参数调整后的每个所述目标物的分割图像。

2.根据权利要求1所述方法，其特征在于，所述利用所述像素级显著性增强模块，对每个所述目标物的第一特征图矩阵中的参数进行调整，确定每个所述目标物的像素级的加权矩阵，包括：

针对于每一个目标物，利用所述像素级显著性增强模块对所述目标物的特征图矩阵进行维度变换、维度调整以及非线性处理，得到所述目标物的第二特征图矩阵；

将每一个目标物的第一特征图矩阵与所述目标物的第二特征图矩阵进行加权相加，得到每个所述目标物的像素级的加权矩阵。

3.根据权利要求1所述的方法，其特征在于，所述根据所述通道级显著性增强模块，增强每个所述目标物的第一特征图矩阵中的矩阵通道，确定每个所述目标物的通道级的加权矩阵，包括：

针对与每一个目标物，利用所述通道级显著性增强模块对所述目标物的第一特征图矩阵进行维度变换、维度调整以及非线性处理，得到每个目标物的第三特征图矩阵；

将每一个所述目标物的第一特征图矩阵和所述目标物的第三特征图矩阵进行加权相加，得到每个所述目标物的通道级的加权矩阵。

4.根据权利要求1所述的方法，其特征在于，所述提取模块包括卷积模块、3D残差卷积模块，所述利用所述提取模块，提取所述待分割图像的至少一个目标物的第一特征图矩阵，包括：

利用所述卷积模块，提取所述待识别图像的至少一个目标物的特征图矩阵；

利用3D残差卷积模块，对每一个目标物的特征图矩阵进行提取，得到所述待识别图像的至少一个目标物的第一特征图矩阵。

5.一种图像分割装置，其特征在于，所述装置包括：

获取单元，用于获取待分割图像；

3D卷积神经网络模型，用于确定所述待分割图像中进行参数调整后的每个目标物的分割图像，所述3D卷积神经网络模型基于图像样本数据预先训练得到，所述3D卷积神经网络模型包括：提取模块、像素级显著性增强模块、通道级显著性增强模块和3D残差反卷积模块；

所述提取模块，用于提取所述待分割图像的至少一个目标物的第一特征图矩阵；

所述像素级显著性增强模块，用于对每个所述目标物的第一特征图矩阵中的参数进行调整，确定每个所述目标物的像素级的加权矩阵，其中，所述每个所述目标物的第一特征图矩阵中的参数为所述目标物的像素；

所述通道级显著性增强模块，用于增强每个所述目标物的第一特征图矩阵中的矩阵通道，确定每个所述目标物的通道级的加权矩阵；

所述3D残差反卷积模块，用于针对于每个目标物，计算该目标物的像素级的加权矩阵和通道级的加权矩阵的和，得到所述目标物的目标矩阵，增大每个所述目标物的目标矩阵的尺寸，并对每个目标物的进行尺寸增大后的目标矩阵还原处理，确定所述待分割图像中进行参数调整后的每个所述目标物的分割图像。

6.根据权利要求5所述的装置，其特征在于，所述像素级的加权矩阵确定单元，包括：

第二特征图矩阵确定单元，用于针对于每一个目标物，利用所述像素级显著性增强模块对所述目标物的特征图矩阵进行维度变换、维度调整以及非线性处理，得到所述目标物的第二特征图矩阵；

像素级的加权矩阵确定子单元，用于将每一个目标物的第一特征图矩阵与所述目标物的第二特征图矩阵进行加权相加，得到每个所述目标物的像素级的加权矩阵。

7.根据权利5所述的装置，其特征在于，所述通道级的加权矩阵确定单元，包括：

第三特征图矩阵确定单元，用于针对与每一个目标物，利用所述通道级显著性增强模块对所述目标物的第一特征图矩阵进行维度变换、维度调整以及非线性处理，得到每个目标物的第三特征图矩阵；

通道级的加权矩阵确定子单元，用于将每一个所述目标物的第一特征图矩阵和所述目标物的第三特征图矩阵进行加权相加，得到每个所述目标物的通道级的加权矩阵。

8.根据权利要求5所述的装置，其特征在于，所述提取模块包括：

卷积模块，用于提取所述待识别图像的至少一个目标物的特征图矩阵；

3D残差卷积模块，用于提对每一个目标物的特征图矩阵进行提取，得到所述待识别图像的至少一个目标物的第一特征图矩阵。

Images