CN112070768A - 基于Anchor-Free的实时实例分割方法 - Google Patents

Abstract

本发明涉及一种基于Anchor‑Free的实时实例分割方法，包括以下步骤：步骤S1:获取实例分割数据集，并预处理后生成训练集；步骤S2:基于改进的目标检测网络CenterNet和CAG‑Mask模块,构建基于Anchor‑Free的实时实例分割模型；步骤S3:根据训练集训练基于Anchor‑Free的实时实例分割模型，得到训练好的分割模型；步骤S4：根据训练好的分割模型对待检测图像或视频数据进行处理，获得实例分割效果。本发明有效缩短了分割时间，可用于实时的实例分割。

Description

基于Anchor-Free的实时实例分割方法

技术领域

本发明涉及模式识别与计算机视觉领域，具体涉及一种基于Anchor-Free的实时实例分割方法。

背景技术

近年来，随着社会进步和科技的不断发展，在视觉领域，目标检测检测和语义分割结果的研究在短时间内得到快速发展。目标检测识别往往在图像上将目标以轴对称框的形式框出。大多成功的目标检测器都先穷举出潜在目标位置，然后对该位置进行分类。锚框的使用存在参数量大，正负样本不均导致训练难得缺点。因此使用Anchor-Free可以缩短训练时间，提高效率。实例分割极具挑战性，因为它要求对图像中所有目标进行正确检测并同时准确分割每个实例。

发明内容

有鉴于此，本发明的目的在于提供一种基于Anchor-Free的实时实例分割方法，能够有效地对图像进行实例分割。

为实现上述目的，本发明采用如下技术方案：

一种基于Anchor-Free的实时实例分割方法，包括以下步骤：

步骤S1：获取实例分割数据集，并预处理后生成训练集；

步骤S2：基于改进的目标检测网络CenterNet和CAG-Mask模块，构建基于Anchor-Free的实时实例分割模型；

步骤S3：根据训练集训练基于Anchor-Free的实时实例分割模型，得到训练好的分割模型；

步骤S4：根据训练好的分割模型对待检测图像或视频数据进行处理，获得实例分割效果。

进一步的，所述预处理包括用尺度变化、翻转以及对比度变化的数据增强方法。

进一步的，所述步骤S2具体为：

步骤S21：将HarDNet第二层的3×3传统卷积替换成3×3深度可分离卷积，使用修改后的HarDNet作为CenterNet的主干网提取特征，获得特征图，通过改进的HarDNet四次下采样之后由hm、wh、reg三个网络层输出三个预测值，分别是热力图、中心点对应的长和宽、偏置量，所有输出共享一个主干网；

步骤S22：在主干网加上分支CAG-Mask模块，建立Anchor-Free的实时实例分割模型

步骤S23：通道注意力模块是通过平均池化和最大池化操作来聚合特征映射的空间信息，生成两个不同的上下文描述图，将两个描述图送到一个共享网络，得到通道注意力图；

步骤S24：卷积块注意模块将空间和通道两个注意力模块串联起来，且通道注意力模块在前，空间注意力模块在后。

进一步的，所共享网络由多层感知机和一个隐藏层组成；

设通道注意力模块的输出结果为M，M的计算公式如下：

其中θ1和θ0为多层感知机(MLP)的权重，XI为输入特征图，

表示对特征图D进行E类型的池化操作，上标D表示操作对象，下标E表示操作类型，max为取最大值，avg为取平均值；τ表示sigmoid函数，

表示对应元素相加，

表示对应元素相乘。

进一步的，所述步骤S24具体为：

将通道注意力模块的输出结果M作为空间注意力模块的输入，设空间注意力模块的输出结果为AO，AO的计算公式如下：

其中

表示级联运算，F_ke表示卷积核为ke的卷积操作，下标ke表示卷积核的大小，F_3×3则表示卷积核为3×3的卷积操作。

进一步的，所述步骤S3具体为：

步骤S31：根据训练集，训练模型，设输入图像为I，W和H分别为输入图像I的宽和高，I∈R^W×H×3，R为实数；输入图片I通过改进的CenterNet，由改进主干网HarDNet经过S次下采样提取特征，由hm网络层产生出关键点的热力图，热力图的值代表每个关键点对于每个类别的预测值，热力图用

表示，且

其中C为目标检测类别的数量，关键点用(x，y)表示，c表示目标检测类，则用

表示热力图

中的关键点(x，y)对于类别c的预测值，Y_(x，y，c)表示为热力图

中的关键点(x，y)对于类别c的真实值；c类的每个真实关键点为(PX，PY)，下采样S次后的对应低分辨率的中心点为

通过高斯核计算Y_(x，y，c)，计算公式如下：

其中σ是与目标大小相关的标准差；

步骤S32：L_k是中心点预测的损失函数，损失函数的计算公式如下：

其中α和β是超参数，N为输入图I的关键点数量；

步骤S33：设输入图I中第j个目标的检测框为(A^j，B^j，C^j，D^j)，中心点为P_j，计算公式如下：

设第j个目标的检测框宽高为size_j＝(C^j-A^j，D^j-B^j)，

是检测框的回归预测值，

为中心点P_j的回归预测值，L_box是检测框回归的损失函数，损失函数的计算公式如下：

步骤S34：计算偏置量，

是偏置量的预测值，

为点P_j的偏置预测值，偏置量的误差计算公式如下：

步骤S35：将改进的CenterNet的检测框数量设置为N个，得分最高的检测框被送入SAG-Mask分支进行训练，则最终的损失函数L如下：

L＝L_k+0.1*L_box+L_off+L_mask

其中L_mask是SAG-Mask分支的损失函数，是每个像素点的交叉熵损失的均值；

步骤S36：使用随机梯度下降优化方法，获得模型的最优参数，得到训练好的基于Anchor-Free的实时实例分割模型。

进一步的，所述步骤S4具体为：

步骤S41：将待预测图像输入训练好的基于Anchor-Free的实时实例分割模型进行预测，待预测图像通过改进的CenterNet进行多次下采样和上采样生成若干预测框，选择满足预设要求的预测框，并根据中心点预测概率选出符合要求预测框；

步骤S42：将得到的的预测框送入CAG-Mask模块进行语义分割，获得最终结果。

本发明与现有技术相比具有以下有益效果：

1.本发明能够有效地对图像进行实例分割，提升了实例分割的效率；

2.本发明能够使用改进的CenterNet目标检测方法，减少参数，没有复杂的后处理过程，使用HarDNet作为CenterNet的主干网提取特征，获得特征图，减少对特征图的访问，不会降低精度。速度快，可以解决实时的实例分割问题。

附图说明

图1是本发明一实施例中原理示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于Anchor-Free的实时实例分割方法，包括以下步骤：

步骤S1：获取实例分割数据集，对数据集使用尺度变化、翻转、对比度变化的数据增强方法扩充数据集，作为训练集；

步骤S2：基于改进的目标检测网络CenterNet和CAG-Mask模块，构建基于Anchor-Free的实时实例分割模型；

步骤S3：根据训练集训练基于Anchor-Free的实时实例分割模型，得到训练好的分割模型；

步骤S4：根据训练好的分割模型对待检测图像或视频数据进行处理，获得实例分割效果。

在本实施例中，所述步骤S2具体为：

步骤S21：将HarDNet第二层的3×3传统卷积替换成3×3深度可分离卷积，使用修改后的HarDNet作为CenterNet的主干网提取特征，获得特征图，通过改进的HarDNet四次下采样之后由hm、wh、reg三个网络层输出三个预测值，分别是热力图、中心点对应的长和宽、偏置量，所有输出共享一个主干网；

步骤S22：在主干网加上分支CAG-Mask模块，建立Anchor-Free的实时实例分割模型；注意力机制可以提升网络对于某些特征的关注度，本实施例采用了卷积块注意模块(Convolutional Block Attention Module)，注意力的特征细化成两个不同的模块，将通道和空间结合起来，去关注特征图中特定的块特征。卷积块注意模块为一个小型的卷积神经网络，将空间和通道两个注意力模块串联起来，与只使用空间注意力模块相比，实现了显著的性能改进，同时保持了小的开销。

步骤S23：通道注意力模块是通过平均池化和最大池化操作来聚合特征映射的空间信息，生成两个不同的上下文描述图，将两个描述图送到一个共享网络，得到通道注意力图；

所共享网络由多层感知机和一个隐藏层组成；

设通道注意力模块的输出结果为M，M的计算公式如下：

其中θ1和θ0为多层感知机(MLP)的权重，XI为输入特征图，

表示对特征图D进行E类型的池化操作，上标D表示操作对象，下标E表示操作类型，max为取最大值，avg为取平均值；τ表示sigmoid函数，

表示对应元素相加，

表示对应元素相乘。

步骤S24：卷积块注意模块将空间和通道两个注意力模块串联起来，且通道注意力模块在前，空间注意力模块在后。

将通道注意力模块的输出结果M作为空间注意力模块的输入，设空间注意力模块的输出结果为AO，AO的计算公式如下：

其中

表示级联运算，F_ke表示卷积核为ke的卷积操作，下标ke表示卷积核的大小，F_3×3则表示卷积核为3×3的卷积操作。

在本实施例中，所述步骤S3具体为：

步骤S31：根据训练集，训练模型，设输入图像为I，W和H分别为输入图像I的宽和高，I∈R^W×H×3，R为实数；输入图片I通过改进的CenterNet，由改进主干网HarDNet经过S次下采样提取特征，由hm网络层产生出关键点的热力图，热力图的值代表每个关键点对于每个类别的预测值，热力图用

表示，且

其中C为目标检测类别的数量，关键点用(x，y)表示，c表示目标检测类，则用

表示热力图

中的关键点(x，y)对于类别c的预测值，Y_(x，y，c)表示为热力图

中的关键点(x，y)对于类别c的真实值；c类的每个真实关键点为(PX，PY)，下采样S次后的对应低分辨率的中心点为

通过高斯核计算Y_(x，y，c)，计算公式如下：

其中σ是与目标大小相关的标准差；计算过程中如果出现两个高斯分布重叠的情况，则去掉元素间最大的那一个。

步骤S32：L_k是中心点预测的损失函数，损失函数的计算公式如下：

其中α和β是超参数，N为输入图I的关键点数量，即目标数量(一个目标一个关键点)；

步骤S33：设输入图I中第j个目标的检测框为(A^j，B^j，C^j，D^j)，中心点为P_j，计算公式如下：

设第j个目标的检测框宽高为size_j＝(C^j-A^j，D^j-B^j)，

是检测框的回归预测值，

为中心点P_j的回归预测值，L_box是检测框回归的损失函数，损失函数的计算公式如下：

步骤S34：计算偏置量，

是偏置量的预测值，

为点P_j的偏置预测值，偏置量的误差计算公式如下：

步骤S35：将改进的CenterNet的检测框数量设置为N个，得分最高的检测框被送入SAG-Mask分支进行训练，则最终的损失函数L如下：

L＝L_k+0.1*L_box+L_off+L_mask

其中L_mask是SAG-Mask分支的损失函数，是每个像素点的交叉熵损失的均值；

步骤S36：使用动量为0.9的随机梯度下降优化方法，初始学习率设置为1.25e-4，阈值为0.3，每隔10个轮次学习率下降0.1，一共训练50轮次，在最后10轮次将阈值从0.3改为0.5，这样修改和只使用单一阈值训练相比，提高了精度，最终获得模型的最优参数，得到训练好的基于Anchor-Free的实时实例分割模型。

在本实施例中，所述步骤S4具体为：

步骤S41：将待预测图像输入训练好的基于Anchor-Free的实时实例分割模型进行预测，待预测图像通过改进的CenterNet进行多次下采样和上采样生成若干预测框，选择满足预设要求的预测框，选择分数前100的预测框，设置阈值为0.3，并根据中心点预测概率选出符合要求预测框；

步骤S42：将得到的的预测框送入CAG-Mask模块进行语义分割，获得最终结果。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种基于Anchor-Free的实时实例分割方法，其特征在于，包括以下步骤：

步骤S1:获取实例分割数据集，并预处理后生成训练集；

步骤S2:基于改进的目标检测网络CenterNet和CAG-Mask模块,构建基于Anchor-Free的实时实例分割模型；

步骤S3:根据训练集训练基于Anchor-Free的实时实例分割模型，得到训练好的分割模型；

步骤S4：根据训练好的分割模型对待检测图像或视频数据进行处理，获得实例分割效果。

2.根据权利要求1所述的基于Anchor-Free的实时实例分割方法，其特征在于，所述预处理包括用尺度变化、翻转以及对比度变化的数据增强方法。

3.根据权利要求1所述的基于Anchor-Free的实时实例分割方法，其特征在于，所述步骤S2具体为：

步骤S21:将HarDNet第二层的3×3传统卷积替换成3×3深度可分离卷积，使用修改后的HarDNet作为CenterNet的主干网提取特征，获得特征图，通过改进的HarDNet四次下采样之后由hm、wh、reg三个网络层输出三个预测值，分别是热力图、中心点对应的长和宽、偏置量，所有输出共享一个主干网；

步骤S22:在主干网加上分支CAG-Mask模块，建立Anchor-Free的实时实例分割模型

步骤S23：通道注意力模块是通过平均池化和最大池化操作来聚合特征映射的空间信息，生成两个不同的上下文描述图，将两个描述图送到一个共享网络，得到通道注意力图；

步骤S24：卷积块注意模块将空间和通道两个注意力模块串联起来，且通道注意力模块在前，空间注意力模块在后。

4.根据权利要求3所述的基于Anchor-Free的实时实例分割方法，其特征在于，所共享网络由多层感知机和一个隐藏层组成；

设通道注意力模块的输出结果为M，M的计算公式如下：

其中θ1和θ0为多层感知机(MLP)的权重，XI为输入特征图，

表示对特征图D进行E类型的池化操作，上标D表示操作对象，下标E表示操作类型，max为取最大值，avg为取平均值；τ表示sigmoid函数，

表示对应元素相加，

表示对应元素相乘。

5.根据权利要求3所述的基于Anchor-Free的实时实例分割方法，其特征在于，所述步骤S24具体为：

将通道注意力模块的输出结果M作为空间注意力模块的输入，设空间注意力模块的输出结果为AO，AO的计算公式如下：

其中

表示级联运算，F_ke表示卷积核为ke的卷积操作，下标ke表示卷积核的大小，F_3×3则表示卷积核为3×3的卷积操作。

6.根据权利要求1所述的基于Anchor-Free的实时实例分割方法，其特征在于，所述步骤S3具体为：

步骤S31：根据训练集，训练模型，设输入图像为I，W和H分别为输入图像I的宽和高，I∈R^W×H×3，R为实数；输入图片I通过改进的CenterNet，由改进主干网HarDNet经过S次下采样提取特征，由hm网络层产生出关键点的热力图，热力图的值代表每个关键点对于每个类别的预测值，热力图用

表示，且

其中C为目标检测类别的数量，关键点用(x，y)表示，c表示目标检测类，则用

表示热力图

中的关键点(x，y)对于类别c的预测值，Y_(x，y，c)表示为热力图

中的关键点(x，y)对于类别c的真实值；c类的每个真实关键点为(PX，Py)，下采样S次后的对应低分辨率的中心点为

通过高斯核计算Y_(x，y，c)，计算公式如下：

其中σ是与目标大小相关的标准差；

步骤S32：L_k是中心点预测的损失函数，损失函数的计算公式如下：

其中α和β是超参数，N为输入图I的关键点数量；

步骤S33：设输入图I中第j个目标的检测框为(A^j，B^j，C^j，D^j)，中心点为P_j，计算公式如下：

设第j个目标的检测框宽高为size_j＝(C^j-A^j，D^j-B^j)，

是检测框的回归预测值，

为中心点P_j的回归预测值，L_box是检测框回归的损失函数，损失函数的计算公式如下：

步骤S34：计算偏置量，

是偏置量的预测值，

为点P_j的偏置预测值，偏置量的误差计算公式如下：

步骤S35：将改进的CenterNet的检测框数量设置为N个，得分最高的检测框被送入SAG-Mask分支进行训练，则最终的损失函数L如下：

L＝L_k+0.1*L_box+L_off+L_mask

其中L_mask是SAG-Mask分支的损失函数，是每个像素点的交叉熵损失的均值；

步骤S36：使用随机梯度下降优化方法，获得模型的最优参数，得到训练好的基于Anchor-Free的实时实例分割模型。

7.根据权利要求1所述的基于Anchor-Free的实时实例分割方法，其特征在于，所述步骤S4具体为：

步骤S41：将待预测图像输入训练好的基于Anchor-Free的实时实例分割模型进行预测，待预测图像通过改进的CenterNet进行多次下采样和上采样生成若干预测框，选择满足预设要求的预测框，并根据中心点预测概率选出符合要求预测框；

步骤S42：将得到的的预测框送入CAG-Mask模块进行语义分割，获得最终结果。

Images