CN110211127B - 基于双相关性网络的图像分割方法 - Google Patents

Abstract

本发明涉及图像分割领域，具体的说，是一种利用相关性网络提高图像低层和高层之间分割清晰度的基于双相关性网络的图像分割方法。本发明的基于双相关性网络的图像分割方法，通过获得通道相关性特征D^k、阶段相关性特征E^k，并将每一个阶段的通道相关性特征D^k、阶段相关性特征E^k逐像素相加，得到融合特征输出G^k，再通过多个卷积层获得最终的分割图，提高了图像的分割清晰度，而且方法简单、实用。

Description

基于双相关性网络的图像分割方法

技术领域

本发明涉及图像分割领域，具体的说，是一种利用相关性网络提高图像低层和高层之间分割清晰度的基于双相关性网络的图像分割方法。

背景技术

根据抽象程度和研究方法的不同，图像工程可分为图像处理、图像分析、图像理解三个层次，即对应语义分割中的低层、中层、高层。其中，图像分析主要是对图像中感兴趣的目标进行检查/分割和测量，以获得它们的客观信息，从而建立对图像的描述。图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法。

在图像分割领域中，低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多；高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。若低层特征与高层特征融合，就可以取其长处，弃之糟泊，改善分割模型，提高分割性能，然而并不是所有的低层特征都对高层特征有着同样理想的贡献，高低层特征的不匹配性会严重影响分割结果。

发明内容

为了提高图像分割性能，本发明提供了一种基于双相关性网络的图像分割方法，在图像语义分割领域，通过双关性网络实现了更好的高低层特征融合，使得对分割结果的边缘和细节的保持效果更优。

本发明通过下述技术方案实现：基于双相关性网络的图像分割方法，采用深度学习方法在建立图像分割任务时建立不同通道和不同阶段，获得图像同一阶段不同通道之间的通道相关性特征D^k 和图像不同阶段之间的阶段相关性特征E^k，再将每一个阶段的通道相关性特征D^k和阶段相关性特征E^k相结合获得融合特征输出G^k；通过卷积层从多个融合特征输出G^k中得到最终分割图。

进一步地，所述的获得图像同一阶段不同通道之间的通道相关性特征D^k 和图像不同阶段之间的阶段相关性特征E^k的具体方式如下：

建立图像分割任务后，从原图像中提取包括不同阶段的特征映射f^k的图像特征信息；不同阶段的特征映射f^k输入自适应融合模块卷积后获得每一个阶段的通道一致性的输出特征F^k；在卷积神经网络中，先由输出特征F^k获得每一个阶段具有通道相关性的通道输出特征B^k和每一个阶段具有阶段相关性的阶段输出特征N^k；再根据每个阶段的输出特征F^k、通道输出特征B^k、阶段输出特征N^k获得每一个阶段的通道相关性特征D^k和阶段相关性特征E^k。

进一步地，所述的卷积神经网络具体为深度残差网络。

进一步地，所述的输出特征F^k的具体获取方法如下：对输入自适应融合模块的每一个阶段的特征映射f^k采用1×1的卷积获得每一个阶段的通道一致性的输出特征F^k。

进一步地，所述通道输出特征B^k的获得方法如下：

首先，对每一个阶段的输出特征F^k进行全局池化得到每一个阶段的全局特征向量A^k，将各个阶段的全局特征向量A^k并联得到全局特征矩阵A；

然后，全局特征矩阵A利用相似度函数计算不同通道的相似度得到不同通道的相似度矩阵M^C，然后对不同通道的相似度矩阵M^C进行归一化得到通道相关性矩阵S，最后将全局特征矩阵A和通道相关性矩阵S相乘得到通道相关性特征矩阵B；即B=AS；

最后，将通道相关性特征矩阵B按阶段分为多个通道输出特征B^k。

进一步地，所述通道相关性特征D^k的获得方法如下：每一个阶段的输出特征F^k与通道输出特征B^k相乘进行通道的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的通道相关性特征D^k；即D^k=B^kF^k+F^k。

进一步地，所述阶段输出特征N^k的获得方法如下：

首先，对每一个阶段的输出特征F^k进行全局池化得到每一个阶段的全局特征向量A^k，将各个阶段的全局特征向量A^k并联得到全局特征矩阵A；

然后，全局特征矩阵A利用相似度函数计算不同阶段的相似度得到不同阶段的相似度矩阵M^s，然后对不同阶段的相似度矩阵M^s进行归一化得到阶段相关性矩阵W；最后将全局特征矩阵A和阶段相关性矩阵W相乘得到阶段相关性特征矩阵N；即N=AW；

最后，将阶段相关性特征矩阵N按阶段分为多个阶段输出特征N^k。

进一步地，所述阶段相关性特征E^k的获得方法如下：每一个阶段的输出特征F^k与阶段输出特征N^k相乘进行阶段的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的阶段相关性特征E^k；即E^k=N^kF^k+F^k。

进一步地，所述的将每一个阶段的通道相关性特征D^k和阶段相关性特征E^k相结合获得融合特征输出G^k具体是指：所述的通道相关性特征D^k和阶段相关性特征E^k逐像素相加聚合得到融合特征输出G^k；即G^k=D^k+E^k。每一个阶段的融合特征输出G^k并联，通过多个卷积层从多个融合特征输出G^k中得到最终分割图。

进一步地，所述的相似度函数采用余弦相似度函数或欧式相似度函数。

进一步地，所述的归一化处理采用归一化指数函数，即Softmax函数。

进一步地，所述的全局池化采用全局平均池化或全局最大池化。

进一步地，所述的通道的相关性建模、阶段的相关性建模均基于深度学习的注意力机制，即Attention操作。

进一步地，建立图像分割任务时，图像的低层到高层被分为K个阶段，K为正整数且K≥2。

基于双相关性网络的图像分割方法，具体包括以下步骤：

步骤S1：建立图像分割任务，将原图像送入卷积神经网络，获得从低层到高层的不同阶段的图像特征信息；

步骤S2：对不同阶段的图像特征信息进行采样，获得每一个阶段图像特征信息的特征映射f^k，将特征映射f^k通过1×1的卷积获得每一个阶段的通道一致性的输出特征F^k；

步骤S3：对输出特征F^k进行全局池化处理，获得全局特征向量A^k；将每一个阶段的全局特征向量A^k并联得到全局特征矩阵A；

步骤S4：利用相似度函数计算全局特征矩阵A与不同通道的联系，先得到不同通道的相似度矩阵M^C,然后对不同通道的相似度矩阵M^C进行归一化处理得到通道相关性矩阵S，再将通道相关性矩阵S和全局特征矩阵A做矩阵乘法，得到通道相关性特征矩阵B；最后，通道相关性特征矩阵B分成每一个阶段对应的通道特征向量B^k，每一个阶段的输出特征F^k与通道输出特征B^k相乘进行通道的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的通道相关性特征D^k；

步骤S5：利用相似度函数计算全局特征矩阵A与不同阶段的联系，先得到不同阶段的相似度矩阵M^S,然后对不同阶段的相似度矩阵M^s进行归一化处理得到阶段相关性矩阵W，再将阶段相关性矩阵W和全局特征矩阵A做矩阵乘法，得到阶段相关性特征矩阵N；最后，阶段相关性特征矩阵N分为每一个阶段对应的阶段输出特征N^k，每一个阶段的输出特征F^k与阶段输出特征N^k相乘进行阶段的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的阶段相关性特征E^k；

步骤S6：将每一个阶段的通道相关性特征D^k和阶段相关性特征E^k逐像素相加进行融合，获得融合特征输出G^k，即G^k=D^k+E^k；

步骤S7：将融合特征输出G^k并联，卷积后得到最终分割图；

所述步骤S4和步骤S5可以同时进行也可以一先一后进行。

本发明与现有技术相比，具有以下优点及有益效果：

（1）本发明的基于双相关性网络的图像分割方法，通过获得通道相关性特征D^k、获得阶段相关性特征E^k、将每一个阶段的通道相关性特征D^k和阶段相关性特征E^k相加等步骤，获得融合特征输出G^k，再通过多个卷积层获得最终的分割图，提高了图像的分割清晰度，而且具有方法简单实用的特点。

（2）本发明通过通道-阶段双相关性网络实现了更好的高低层特征融合，使得分割结果的边缘和细节的保持优于现有技术。

（3）本发明采用了扩张的深度残差网络，还在最后一个残差块移除了下采样操作并使用扩张卷积，在不影响感受野的情况下尽可能的减少下采样操作而获得更大的特征图。

附图说明

图1为本发明的基于双相关性网络的图像分割方法的阶段为4的一种逻辑结构框图；

图2为本发明的基于双相关性网络的图像分割方法的阶段为4的通道相关性矩阵的一种逻辑框图；

图3为本发明的基于双相关性网络的图像分割方法的阶段为4的阶段相关性矩阵的一种逻辑框图。

图4为几种模式下图像分割的效果图。

图5为分别采用几种模式进行图像分割的试验数据对比表。

图6为本发明图像分割方法中各特征关系示意图。

图7为本发明图像分割方法中各特征的处理流程示意图。

图8为mIoU算法原理示意图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

如图1至图7所示，本发明通过下述技术方案实现，一种基于双相关性网络的图像分割方法，其特征在于：采用深度学习方法在建立图像分割任务时建立不同通道和不同阶段，获得图像同一阶段不同通道之间的通道相关性特征D^k 和图像不同阶段之间的阶段相关性特征E^k，再将每一个阶段的通道相关性特征D^k和阶段相关性特征E^k相结合获得融合特征输出G^k；通过卷积层从多个融合特征输出G^k中得到最终分割图。

即本实施例中的图像分割方法主要分为三个阶段。

第一阶段为：获得通道相关性特征D^k和阶段相关性特征E^k；

第二阶段为：通道相关性特征D^k和阶段相关性特征E^k两个特征融合并得到融合特征输出G^k；

第三阶段为：将多个阶段的G^k卷积得到分割图。

本实施例的关键点就在于通过通道-阶段双相关性网络实现了更好的高低层特征融合，使得分割结果的边缘和细节的保持优于现有技术。

实施例2：

本实施例在实施例1的基础上进一步优化。每一个通道的特征都可以被看作对于某一个语义信息的特殊响应，而且不同的响应之间相互联系。因此，直接融合高层和低层的特征会因为高低层通道不匹配而造成部分物体的错误分类。另一方面，来自高层通道的特征可以被认为是特定类信息和信道的响应而来自低层通道的特征表示不同的图像的细节或纹理的响应。因此，融合不同阶段的特征会导致高层特征和低层特征存在不匹配。

本实施例针对上述问题，设计了通道相关性模块（Channel Correlation Module，简称CCM模块）和阶段相关性模块（Stage Correlation Module，简称SCM模块），分别通过建立不同通道和不同阶段的联系而获取全局通道相关性，以此获得高低层匹配的分割结果。

在另一个具体实施例中，提出通道相关性模块，去建模不同通道信息的丰富联系，获得通道相关性特征D^k。

通过通道相关性模块将每一阶段输出的全局特征矩阵A，使用相似度函数计算不同通道的相似度。具体是指：通过通道相关性模块将每一阶段经全局池化输出的全局特征矩阵A，代表不同特征图信息整合后的特征，利用全局特征矩阵A使用相似度函数计算不同通道的相似度。相似度大小代表了不同通道之间相关联的程度，相似度越大则两通道之间相关联程度越高，而后将通过计算得到的相似度矩阵乘回原全局特征矩阵A，就可以得到经过重新赋权相似度大小的通道相关性特征矩阵B，通道相关性特征矩阵B可以视为经过通道相似度度量之后的不同特征图的全局信息，再将其乘回原输出特征F，则使输出特征F不同通道之间具有了相关性特征，即两通道信息若相似，则通道相关性特征矩阵B相对应的两个数值就越大，乘到原输出特征F上使其对应通道响应变大。

在另一个具体实施例中，通道相关性模块中使用的相似度函数为余弦相似度函数计算不同通道的相似度。此处的模型采用的是余弦相似度，当然也可以换成其他相似度函数，比如欧式相似度函数。

在另一个具体实施例中，提出阶段相关性模块，去建模不同阶段信息的丰富联系，获得阶段相关性特征E^k。

通过阶段相关性模块将每一阶段输出的全局特征矩阵A，使用相似度函数计算不同阶段的相似度。具体是指：通过阶段相关性模块将每一阶段经全局池化输出的全局特征矩阵A，代表不同特征图信息整合后的特征，利用全局特征矩阵A使用相似度函数计算不同阶段的相似度。相似度大小代表了不同阶段之间相关联的程度，相似度越大则两阶段之间相关联程度越高，而后将通过计算得到的相似度矩阵乘回原全局特征矩阵A，就可以得到经过重新赋权相似度大小的阶段相关性特征矩阵N，阶段相关性特征矩阵N可以视为经过阶段相似度度量之后的不同特征图的全局信息，再将其乘回原输出特征F，则使输出特征F不同阶段之间具有了相关性特征，即两阶段信息若相似，则阶段相关性特征矩阵N相对应的两行数值就越大，乘到原输出特征F上使其对应阶段响应变大。

在另一个具体实施例中，阶段相关性模块中使用的相似度函数为余弦相似度函数或欧式相似度函数计算不同通道的相似度。

实施例3：

本实施例在实施例1或2的基础上，进一步优化。

基于双相关性网络的图像分割方法，采用深度学习方法在建立图像分割任务时建立不同通道和不同阶段，获得图像同一阶段不同通道之间的通道相关性特征D^k 和图像不同阶段之间的阶段相关性特征E^k，再将每一个阶段的通道相关性特征D^k和阶段相关性特征E^k相结合获得融合特征输出G^k；通过卷积层从多个融合特征输出G^k中得到最终分割图。

如图6、图7，具体流程如下：

1、建立图像分割任务后，从原图像中提取包括不同阶段的特征映射f^k的图像特征信息。

2、不同阶段的特征映射f^k输入自适应融合模块后采用1×1的卷积获得每一个阶段的通道一致性的输出特征F^k。

3、在深度残差神经网络中，由输出特征F^k获得每一个阶段具有通道相关性的通道输出特征B^k和每一个阶段具有阶段相关性的阶段输出特征N^k；

3.1所述通道输出特征B^k的获得方法如下：

3.1.1首先，对每一个阶段的输出特征F^k进行全局池化得到每一个阶段的全局特征向量A^k，将各个阶段的全局特征向量A^k并联得到全局特征矩阵A；

3.1.2然后，全局特征矩阵A利用相似度函数计算不同通道的相似度得到不同通道的相似度矩阵M^C，然后对不同通道的相似度矩阵M^C进行归一化得到通道相关性矩阵S，最后将全局特征矩阵A和通道相关性矩阵S相乘得到通道相关性特征矩阵B；即B=AS；

3.1.3最后，将通道相关性特征矩阵B按阶段分为多个通道输出特征B^k。

3.2所述阶段输出特征N^k的获得方法如下：

3.2.1首先，对每一个阶段的输出特征F^k进行全局池化得到每一个阶段的全局特征向量A^k，将各个阶段的全局特征向量A^k并联得到全局特征矩阵A；

3.2.2然后，全局特征矩阵A利用相似度函数计算不同阶段的相似度得到不同阶段的相似度矩阵M^s，然后对不同阶段的相似度矩阵M^s进行归一化得到阶段相关性矩阵W；最后将全局特征矩阵A和阶段相关性矩阵W相乘得到阶段相关性特征矩阵N；即N=AW；

3.2.3最后，将阶段相关性特征矩阵N按阶段分为多个阶段输出特征N^k。

4、由每一个阶段的输出特征F^k、通道输出特征B^k、阶段输出特征N^k获得图像同一阶段不同通道之间的通道相关性特征D^k 和图像不同阶段之间的阶段相关性特征E^k；

4.1所述通道相关性特征D^k的获得方法如下：每一个阶段的输出特征F^k与通道输出特征B^k相乘进行通道的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的通道相关性特征D^k；即D^k=B^kF^k+F^k。

4.2所述阶段相关性特征E^k的获得方法如下：每一个阶段的输出特征F^k与阶段输出特征N^k相乘进行阶段的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的阶段相关性特征E^k；即E^k=N^kF^k+F^k。

5、所述的通道相关性特征D^k和阶段相关性特征E^k逐像素相加聚合得到融合特征输出G^k；即G^k=D^k+E^k。

6、每一个阶段的融合特征输出G^k并联，通过多个卷积层从多个融合特征输出G^k中得到最终分割图。

在另一个具体实施例中，所述的相似度函数采用余弦相似度函数或欧式相似度函数。

在另一个具体实施例中，所述的归一化处理采用归一化指数函数，即Softmax函数。

在另一个具体实施例中，所述的通道的相关性建模、阶段的相关性建模均基于深度学习的注意力机制，即Attention操作。

本实施例的其他部分与实施例1或实施例2相同，故不再赘述。

实施例4：

本发明通过下述技术方案实现，如图1-图8所示，本发明的基于双相关性网络的图像分割方法主要包括以下步骤。

步骤S1: 建立图像分割任务，将图像送入深度残差网络，获得从低层到高层的不同阶段的图像特征信息。

残差网络是2015年提出的深度卷积网络，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。核心是解决了增加深度带来的副作用（退化问题），这样能够通过单纯地增加网络深度，来提高网络性能。其中，步骤S1中的深度残差网络就是把一串的训练分成了一个个的代码块（block）去训练，让每一个代码块的误差最小，最终达到整体误差最小的目的，所以就不会出现梯度弥散现象了。

本实施例采用了扩张的深度残差网络，还在最后一个残差块移除了下采样操作并使用扩张卷积，在不影响感受野的情况下尽可能的减少下采样操作而获得更大的特征图。

步骤S2: 对阶段图像特征信息进行采样，获得每个阶段图像特征信息的特征映射f^k，将f^k通过1×1的卷积获得通道一致性的输出特征F^k。

图像特征的提取和选择是图像处理过程中很重要的环节，对后续图像分类有着重要的影响，并且对于图像数据具有样本少，维数高的特点，要从图像中提取有用的信息，必须对图像特征进行降维处理，特征提取与特征选择就是最有效的降维方法，其目的是得到一个反映数据本质结构、识别率更高的特征子空间。

图像特征的提取和选择分为原始特征提取、特征提取、特征选择。

一、原始特征提取

原始特征包括颜色特征、形状特征、纹理特征、空间关系特征。

颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好的捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。

基于颜色特征的描述方法，包括：颜色直方图、颜色集、颜色矩、颜色聚合向量、颜色相关图。

形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。

形状特征的描述方法，包括：边界特征法、傅里叶形状描述符法、几何参数法、形状不变矩法。

纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但纹理只是一种物体表面的特性，无法完全反映出物体的本质属性，所以仅利用纹理特征无法获得高层次图像内容，且纹理特征还有一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。

纹理特征的描述方法，包括：基于统计的灰度共生矩阵和能量谱函数法、几何法(例如基于图像基元的结构化方法)、模型法（例如随机场模型法）、信号处理法（例如小波变换）。

空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。

提取图像空间关系特征可以有两种方法：一种方法是首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；另一种方法则简单地将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引。

二、特征提取

对于初步获取的图像特征，可能维数依然很大，且可能包含一定的无关或冗余特征。这里的特征提取是指从初步获取的原始特征中通过一定的数学运算得到一组新的特征也称作特征变换，其可以有效的降低特征空间维数和消除特征之间可能存在的相关性，减少特征中的无用信息。

基本的特征提取方法分为线性方法：如主成分分析法（PCA），线性判别分析法（LDA），多维尺度法（MDS）；非线性方法：如核方法（KPCA，KDA），流型学习。

三、特征选择

特征选择也是降低特征空间维数的一种基本方法，它是用计算的方法从一组给定的特征中选出能够有效识别目标的最小特征子集。与特征提取最本质的区别就是特征提取主要是从原特征空间到新特征空间的一种变换，特征提取到的子特征会失去对类别原有主观意义的具体解释，而特征选择可以保持对这中具体意义的解释。

特征选择的基本步骤包括：候选特征子集的生成（即搜索策略）；子集评价（即评价准则）；停止准则；结果验证。

根据搜索策略和评价准则的不同，可对特征选择方法进行如下分类。按搜索策略分为：基于全局寻优的分支定界法、基于启发式搜索的方法、随机搜索方法；按评价准则分为：Filter方式、Wrapper方式、Embedded方式。

步骤S3:对输出特征F^k进行全局池化处理，获得特征向量A^k。

众所周知卷积神经网络（Convolutional Neural Network，简称CNN网络）中常见结构是：卷积、池化和激活。卷积层是CNN网络的核心，激活函数帮助网络获得非线性特征，而池化的作用则体现在降采样：保留显著特征、降低特征维度，增大卷积核的感受野。深度网络越往后面越能捕捉到物体的语义信息，这种语义信息是建立在较大的感受野基础上。很长一段时间以来，全连接网络一直是CNN分类网络的标配结构。在CNN网络的每个卷积层，数据都是以三维形式存在的。

输入层的图片通过卷积核（kernel，也称过滤器或内核）的卷积操作输出卷积结果。在输入层，若是灰度图片，那就只有一个特征图（feature map）；若是彩色图片（RGB），一般有对应红绿蓝的三个特征图。层与层之间会有若干个卷积核，上一层每个特征图跟每个卷积核做卷积，都会产生下一层的一个特征图，有N个卷积核，下层就会产生N个特征图。

一般在全连接后会有激活函数来做分类，假设这个激活函数是一个多分类softmax，那么全连接网络的作用就是将最后一层卷积得到的特征图拉伸成向量，对这个向量做乘法，最终降低其维度，然后输入到softmax层中得到对应的每个类别的得分。但是，全连接层（Fully Connected Layer，简称FC）存在问题：参数量过大，降低了训练的速度，且很容易过拟合。而且，全连接层将卷积层展开成向量之后还是要针对每个特征图进行分类，而GAP的思路就是将上述两个过程合二为一。一个特征图全局平均池化后得到一个值，再进行全连接就会少很多参数。

全局池化（Global Pooling，简称GP），就是池化的滑窗大小和整张特征图大小一样大。这样，每个 W×H×C的特征图输入就会被转化为1×1×C 输出。因此等同于每个位置权重都为 1/(W×H)的FC层操作。全局池化在滑窗内的具体池化方法很多，根据池化方法不同，全局池化又被细分为全局平均池化、全局最大池化等。全局平均池化（Global AveragePooling，简称GAP）由 M. Lin, Q. Chen, and S. Yan. Network in network.International Conference on Learning Representations, 2014.提出来。

本实施例将网络不同阶段的输出送入自适应融合模块，首先对每一个阶段的输出采用1x1的卷积将通道数都降低为256,然后对每一个阶段的特征图使用全局平均池化或全局最大池化，以获得每一个阶段简短且综合的特征表示。

步骤S4:利用相似度函数计算特征向量A^k不同通道的联系，得到通道相关性矩阵，进而得到通道相关性特征向量B^k，从而获得通道相关性特征D^k。

在另一具体实施例中，步骤S4具体是指：利用相似度函数计算全局特征矩阵A与不同通道的联系，先得到不同通道的相似度矩阵M^C,然后对不同通道的相似度矩阵M^C进行归一化处理得到通道相关性矩阵S，再将通道相关性矩阵S和全局特征矩阵A做矩阵乘法，得到通道相关性特征矩阵B；最后，通道相关性特征矩阵B分成每一个阶段对应的通道特征向量B^k，每一个阶段的输出特征F^k与通道输出特征B^k相乘进行通道的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的通道相关性特征D^k。

步骤S5:利用相似度函数计算特征向量A^k不同阶段的联系，得到阶段相关性矩阵，进而得到阶段相关性特征向量N^k，从而获得阶段相关性特征E^k。

在另一具体实施例中，步骤S5具体是指：利用相似度函数计算全局特征矩阵A与不同阶段的联系，先得到不同阶段的相似度矩阵M^S,然后对不同阶段的相似度矩阵M^S进行归一化处理得到阶段相关性矩阵W，再将阶段相关性矩阵W和全局特征矩阵A做矩阵乘法，得到阶段相关性特征矩阵N；最后，阶段相关性特征矩阵N分为每一个阶段对应的阶段输出特征N^k，每一个阶段的输出特征F^k与阶段输出特征N^k相乘进行阶段的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的阶段相关性特征E^k。

在另一具体实施例中，步骤S4、S5中，所述的相似度函数采用余弦相似度函数或欧式相似度函数。

在另一具体实施例中，步骤S4、S5中，所述的归一化处理采用归一化指数函数，即Softmax函数。

在另一具体实施例中，步骤S4、S5中，所述的通道的相关性建模、阶段的相关性建模均基于深度学习的注意力机制，即Attention操作。

步骤S6：将每一个阶段的通道相关性特征D^k和阶段相关性特征E^k逐像素相加进行融合，获得融合特征输出G^k，即G^k=D^k+E^k；

步骤S7:将融合特征输出G^k并联，通过多个卷积层得到最终分割图。

所述步骤S4和步骤S5可以同时进行也可以一先一后进行。

本发明的基于双相关性网络的图像分割方法，通过获得通道相关性特征D^k、获得阶段相关性特征E^k、将每一个阶段的通道相关性特征D^k和阶段相关性特征E^k相加等步骤，获得融合特征输出G^k，再通过多个卷积层获得最终的分割图，提高了图像的分割清晰度，而且具有方法简单实用的特点。

实施例5：

本发明的基于双相关性网络的图像分割方法应用于人像分割时，低层到高层分为四个阶段进行图像处理，即阶段个数K=4，阶段号k满足k∈{1,2,3,4}；此时即可得到较为优质的边缘和细节保持。当阶段数少于4时，分割结果不佳；当阶段数多于4时，分割结果质量提升不明显但运算量增加，因此采用本发明所述的方法进行人像分割时优选阶段数为4。也就是说，人像分割时，阶段数为4，由神经网络4个阶段分别操作后得出特征图，即4个特征图，此时就能够达到高低层特征融合的最好效果。

作为一种优选的实施方式，基于双相关性网络的人像分割方法，具体包括以下步骤：

步骤S1：建立图像分割任务，将原图像送入卷积神经网络，获得从低层到高层的4个阶段的图像特征信息；

步骤S2：对4个阶段的图像特征信息分别采样，获得每一个阶段图像特征信息的特征映射f^k；将特征映射f^k通过1×1的卷积获得每一个阶段的通道一致性的输出特征F^k；f^k包括f¹、f²、f³、f⁴，相应的F^k包括F¹、F²、F³、F⁴；

H为Height，高；W为Width，宽；R为维度；C为Channel，通道；K为阶段数。

步骤S3：对输出特征F^k（F¹、F²、F³、F⁴）进行全局池化处理，获得全局特征向量A^k（A¹、A²、A³、A⁴）；将每一个阶段的全局特征向量A^k（A¹、A²、A³、A⁴）并联得到全局特征矩阵A；

其中，；

步骤S4：由输出特征F^k（F¹、F²、F³、F⁴）和全局特征矩阵A计算得到每一个阶段的通道相关性特征D^k；如图2所示，具体包括以下步骤：

步骤S41: 利用相似度函数计算全局特征矩阵A与不同通道的联系，先得到不同通道的相似度矩阵M^C；

（1）

其中，i,为行号；

j,为列号；

k,为阶段号；k∈{1,2,3,4}；

Softmax，为归一化指数函数，是对于矩阵行或者列的归一化操作；

所述的S_i,j值越大代表通道更相关；

步骤S43：全局特征矩阵A和通道相关性矩阵S_i,j进行矩阵乘法，得到通道相关性特征矩阵B；

即：B=A×S_i,j （3）

其中，B为通道相关性特征矩阵；B∈R^K×C；

步骤S44：通道相关性特征矩阵B分成每一个阶段对应的通道特征向量B^k；其中，B^k包括B¹、B²、B³、B⁴；

步骤S45：每一个阶段的输出特征F^k与通道输出特征B^k基于attention注意力机制相乘进行通道的相关性建模，再与输出特征F^k（F¹、F²、F³、F⁴）逐像素相加，得到每一个阶段的通道相关性特征D^k；其中，D^k包括D¹、D²、D³、D⁴；

即：D^k=B^kF^k+F^k （4）

步骤S5: 由输出特征F^k（F¹、F²、F³、F⁴）和全局特征矩阵A计算得到每一个阶段的阶段相关性特征D^k；如图3所示，具体包括以下步骤：

步骤S51: 利用相似度函数计算全局特征矩阵A与不同阶段的联系，先得到不同阶段的相似度矩阵M^S；

（5）

其中，i,为行号；

j,为列号；

k,为阶段号；k∈{1,2,3,4}；

Softmax，为归一化指数函数，是对于矩阵行或者列的归一化操作；

所述的W_i,j值越大代表通道更相关；

步骤S53: 全局特征矩阵A和阶段相关性矩阵W_i,j做矩阵 乘法，得到阶段相关性特征矩阵N；

即：N=A×W_i,j （7）

其中，N为阶段相关性特征矩阵；N∈R^K×C；

步骤S54: 阶段相关性特征矩阵N分为每一个阶段对应的阶段输出特征N^k；其中，N^k包括N¹、N²、N³、N⁴；

步骤S55: 每一个阶段的输出特征F^k与阶段输出特征N^k基于attention注意力机制相乘进行阶段的相关性建模，再与输出特征F^k（F¹、F²、F³、F⁴）逐像素相加，得到每一个阶段的阶段相关性特征E^k；其中，E^k包括E¹、E²、E³、E⁴；

即：E^k=N^kF^k+F^k （8）

步骤S6：将每一个阶段的通道相关性特征D^k（D¹、D²、D³、D⁴）和阶段相关性特征E^k（E¹、E²、E³、E⁴）逐像素相加进行融合，获得融合特征输出G^k； 其中，G^k包括G¹、G²、G³、G⁴；

即G^k=D^k+E^k （9）

步骤S7：将融合特征输出G^k（G¹、G²、G³、G⁴）并联，卷积后得到最终分割图。

实施例6：

本实施例在实施例5的基础上进一步说明，如图4所示，以从上至下的四幅图像为例，a列是原图，b列是人为标注的分割结果，c列是现有方法的分割结果，d列是直接融合第2到第5层的特征的分割结果，e列是增加通道相关后的分割结果，f列是增加阶段相关的分割结果，g列是采用通道-阶段双相关的分割结果。通过综合比较，作为计算机图像分割技术，g列中采用通道-阶段双相关的分割结果显然具有较为清晰的边缘和较完整的细节保持。

进一步，采用ResNet50模式、FSC模式、CCM模式、SCM模式对一组包含人、猫、狗、鸟、汽车、飞机、火车、船、杯子、桌子等对象的图像分别进行图像分割进行分割效果比对。

第一行数据为采用ResNet50模式对上述图像进行分割处理的结果。

第二行数据为ResNet50模式与FSC模式叠加对上述图像进行分割处理的结果。

第三行数据为ResNet50模式、FSC模式、CCM模式叠加对上述图像进行分割处理的结果。

第四行数据为ResNet50模式、FSC模式、SCM模式叠加对上述图像进行分割处理的结果。

第五行数据为ResNet50模式、FSC模式、CCM模式、SCM模式叠加对上述图像进行分割处理的结果。也就是采用本实施例对应的图像分割方法对上述图像进行分割处理的结果。

在计算机视觉深度学习图像分割领域中，mIoU值是一个衡量图像分割精度的重要指标。mIoU可解释为平均交并比，即在每个类别上计算IoU值（所有样本IoU之和/所有样本的数量）。mIoU指数的算法原理如图8所示，模型预测区域与人为标注区域相交的部分除以它们并起来的部分，这个指标用于测量真实和预测之间的相关度，相关度越高，该值越高。然后“mIoU”中的“m”代表mean,mean是平均，就是在不同类上的IoU求和再求一个平均，这个反应了模型预测的准确度。

根据mIoU算法计算图像分割的结果，结果的数值越大越接近人为标注的情况，即其图像分割效果越接近人为标注的效果。

Res-50: ResNet50网络模式

FSC:Concatenating all stages's outputs of ResNet-50.

FSC模式是将ResNet-50模式的所有输出直接融合。

CCM:Adding Channel Correlation Module on each stage's output.

CCM模式是在每个阶段的输出中添加通道相关。

SCM:Adding Stage Correlation Module on each stage' output.

SCM模式是在每个阶段的输出上添加阶段相关。

分割结果数据如图5所示，从测试数据中可以看出，采用本实施例对应的图像分割方法对上述图像进行分割处理的结果超过了现有最好的分割算法即在PASCAL VOC数据集mIoU达到了75.5。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (9)

1.基于双相关性网络的图像分割方法，其特征在于：采用深度学习方法在建立图像分割任务时建立不同通道和不同阶段，获得图像同一阶段不同通道之间的通道相关性特征D^k和图像不同阶段之间的阶段相关性特征E^k，再将每一个阶段的通道相关性特征D^k和阶段相关性特征E^k相结合获得融合特征输出G^k；通过卷积层从多个融合特征输出G^k中得到最终分割图；所述的获得图像同一阶段不同通道之间的通道相关性特征D^k 和图像不同阶段之间的阶段相关性特征E^k的具体方式如下：

建立图像分割任务后，从原图像中提取包括不同阶段的特征映射f^k的图像特征信息；不同阶段的特征映射f^k输入自适应融合模块卷积后获得每一个阶段的通道一致性的输出特征F^k；在卷积神经网络中，先由输出特征F^k获得每一个阶段具有通道相关性的通道输出特征B^k和每一个阶段具有阶段相关性的阶段输出特征N^k；再根据每个阶段的输出特征F^k、通道输出特征B^k、阶段输出特征N^k获得每一个阶段的通道相关性特征D^k和阶段相关性特征E^k。

2.根据权利要求1所述的基于双相关性网络的图像分割方法，其特征在于：所述通道相关性特征D^k的获得方法如下：每一个阶段的输出特征F^k与通道输出特征B^k相乘进行通道的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的通道相关性特征D^k；即D^k=B^kF^k+F^k。

3.根据权利要求2所述的基于双相关性网络的图像分割方法，其特征在于：所述通道输出特征B^k的获得方法如下：

首先，对每一个阶段的输出特征F^k进行全局池化得到每一个阶段的全局特征向量A^k，将各个阶段的全局特征向量A^k并联得到全局特征矩阵A；

然后，全局特征矩阵A利用相似度函数计算不同通道的相似度得到不同通道的相似度矩阵M^C，然后对不同通道的相似度矩阵M^C进行归一化得到通道相关性矩阵S，最后将全局特征矩阵A和通道相关性矩阵S相乘得到通道相关性特征矩阵B；即B=AS；

最后，将通道相关性特征矩阵B按阶段分为多个通道输出特征B^k。

4.根据权利要求2所述的基于双相关性网络的图像分割方法，其特征在于：所述阶段相关性特征E^k的获得方法如下：每一个阶段的输出特征F^k与阶段输出特征N^k相乘进行阶段的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的阶段相关性特征E^k；即E^k=N^kF^k+F^k。

5.根据权利要求4所述的基于双相关性网络的图像分割方法，其特征在于：所述阶段输出特征N^k的获得方法如下：

首先，对每一个阶段的输出特征F^k进行全局池化得到每一个阶段的全局特征向量A^k，将各个阶段的全局特征向量A^k并联得到全局特征矩阵A；

然后，全局特征矩阵A利用相似度函数计算不同阶段的相似度得到不同阶段的相似度矩阵M^s，然后对不同阶段的相似度矩阵M^s进行归一化得到阶段相关性矩阵W；最后将全局特征矩阵A和阶段相关性矩阵W相乘得到阶段相关性特征矩阵N；即N=AW；

最后，将阶段相关性特征矩阵N按阶段分为多个阶段输出特征N^k。

6.根据权利要求2-5任一项所述的基于双相关性网络的图像分割方法，其特征在于：所述的相关性建模基于深度学习的注意力机制。

7.根据权利要求1-5任一项所述的基于双相关性网络的图像分割方法，其特征在于：所述的卷积神经网络具体为深度残差网络。

8.根据权利要求1所述的基于双相关性网络的图像分割方法，其特征在于：所述的将每一个阶段的通道相关性特征D^k和阶段相关性特征E^k相结合获得融合特征输出G^k具体是指：所述的通道相关性特征D^k和阶段相关性特征E^k逐像素相加聚合得到融合特征输出G^k；即G^k=D^k+E^k；

每一个阶段的融合特征输出G^k并联，通过多个卷积层从多个融合特征输出G^k中得到最终分割图。

9.根据权利要求1所述的基于双相关性网络的图像分割方法，其特征在于：具体包括以下步骤：

步骤S1：建立图像分割任务，将原图像送入卷积神经网络，获得从低层到高层的不同阶段的图像特征信息；

步骤S2：对不同阶段的图像特征信息进行采样，获得每一个阶段图像特征信息的特征映射f^k，将特征映射f^k通过1×1的卷积获得每一个阶段的通道一致性的特征映射F^k；

步骤S3：对输出特征F^k进行全局池化处理，获得全局特征向量A^k；将每一个阶段的全局特征向量A^k并联得到全局特征矩阵A；

步骤S4：利用相似度函数计算全局特征矩阵A与不同通道的联系，先得到不同通道的相似度矩阵M^C，然后对不同通道的相似度矩阵M^C进行归一化处理得到通道相关性矩阵S，再将通道相关性矩阵S和全局特征矩阵A做矩阵乘法，得到通道相关性特征矩阵B；最后，通道相关性特征矩阵B分成每一个阶段对应的通道特征向量B^k，每一个阶段的输出特征F^k与通道输出特征B^k相乘进行通道的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的通道相关性特征D^k；

步骤S5：利用相似度函数计算全局特征矩阵A与不同阶段的联系，先得到不同阶段的相似度矩阵M^S，然后对不同阶段的相似度矩阵M^S进行归一化处理得到阶段相关性矩阵W，再将阶段相关性矩阵W和全局特征矩阵A做矩阵乘法，得到阶段相关性特征矩阵N；最后，阶段相关性特征矩阵N分为每一个阶段对应的阶段输出特征N^k，每一个阶段的输出特征F^k与阶段输出特征N^k相乘进行阶段的相关性建模，再与输出特征F^k逐像素相加，得到每一个阶段的阶段相关性特征E^k；

步骤S6：将每一个阶段的通道相关性特征D^k和阶段相关性特征E^k逐像素相加进行融合，获得融合特征输出G^k，即G^k=D^k+E^k；

步骤S7：将融合特征输出G^k并联，卷积后得到最终分割图；

所述步骤S4和步骤S5可以同时进行也可以一先一后进行。