CN113642608B - 一种基于卷积神经网络的人形靶分割方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的人形靶分割方法，属于计算机视觉识别领域，用以解决目前人形靶分割精度不高，人形靶识别分割速度慢及对复杂场景的适应能力较低的问题。方法包括：确定人形靶目标图像数据集，通过深度卷积网络提取图像特征，并利用得到的特征图构建FPN网络；将FPN网络特征同时输入一个分类网络及一个分割网络，两个网络并行执行；将两个网络的输出结果融合之后得到分割后的人形靶特征图，最后通过确定人形靶的位置信息，将人形靶区域从图像中截取出来，剔除背景的干扰，提高后续的弹孔检测速度与精度。该方法实现了快速高效且适应力强的人形靶分割，提高了人形靶分割精度及速度，为后续的打靶检测处理提供正确的靶面数据。

Description

一种基于卷积神经网络的人形靶分割方法

技术领域

本发明属于计算机视觉识别技术领域，尤其涉及一种基于卷积神经网络的人形靶分割方法。

背景技术

目前的自动报靶系统多采用基于图像处理的报靶原理，其中人形靶的分割是非常重要的一步。现有的人形靶分割技术多采用基于图像的颜色、纹理及形状特点通过传统的图像处理技术完成，对复杂场景的适应能力较低，靶面分割的精度还有待提升。并且粗糙的靶面分割会影响弹孔是否落在有效区域内的判断，从而导致报靶统计错误。

随着深度学习卷积神经网络的迅速发展以及计算机硬件的大幅提升，使得利用神经网络进行人形靶分割的技术得以实现。因此本发明提出一种基于卷积神经网络的人形靶分割方法，该方法能够有效区分人形靶区域与背景，并能快速将人形靶区域识别分割，为后续的打靶检测处理提供正确的靶面数据。

发明内容

为解决现有技术人形靶分割不准确，人形靶识别速度慢的问题，本发明提出了一种基于卷积神经网络的人形靶分割方法，该方法通过深度卷积网络提取图像特征，并利用得到的特征图构建FPN网络；将FPN网络特征同时输入一个分类网络及一个分割网络，两个网络并行执行；将两个网络的输出结果融合之后得到分割后的人形靶特征图，最后通过确定人形靶的位置信息，将人形靶区域从图像中截取出来，剔除背景的干扰，提高后续的弹孔检测速度与精度。其具体技术方案如下：

本发明首先提供了一种基于卷积神经网络的人形靶分割方法，其包括以下步骤：

1)将图像输入以ResNet101或ResNet50为Backbone的深度卷积网络中，依次提取图像特征层C1,C2,C3,C4和C5，其中C1为ResNet经过conv1卷积模块得到的特征层，C2为ResNet经过conv2_x卷积模块得到的特征层，C3为ResNet经过conv3_x卷积模块得到的特征层，C4为ResNet经过conv4_x卷积模块得到的特征层，C5为ResNet经过conv5_x卷积模块得到的特征层；

2)构建FPN网络，将图像特征层C5经过单次卷积得到P5，将图像特征层C4经过单次卷积，并将P5进行一次双线性插值法，将两者结果相加得到P4，将图像特征层C3经过单次卷积，并将P4进行一次双线性插值法，将两者结果相加得到P3，将P5进行卷积下采样得到P6，将P6进行卷积下采样得到P7；

3)将得到的图像特征层送入Protonet网络和Prediction Head网络，两个网络为并行网络；

4)将经过Protonet网络得到的原型掩码P(h×w×k)和Prediction Head网络得到的mask的掩码系数C(n×k)相乘，再将结果使用sigmod激活函数σ，得到图片中人形靶目标的mask为M，公式表示如下：

M＝σ(PC^T)

5)将得到的mask进行Crop操作，将边界外的mask清零，之后执行Cut操作，从图像中截取人形靶区域。

优选的，步骤3)具体为：

3.1)将P3送入Protonet网络用于生成原型掩膜，Protonet网络为若干层卷积网络，最终输出卷积层维度为138×138×k，其中k为生成的原型掩膜个数；

3.2)将P3-P7送入Prediction Head网络用于生成位置偏移参数，类别置信度及mask的掩码系数，Prediction Head网络采用共享卷积网络结构设计，经过若干卷积操作之后对同一网络特征层分别进行三类卷积，得到对应的位置偏移参数W×H×4a、类别置信度W×H×ca及mask掩码系数W×H×ka；

3.3)通过Prediction Head网络之后利用Fast NMS筛选得到最优的ROI，首先对每个类别的前n个检测框计算一个c×n×n的IoU矩阵X，并对每个类别按置信度降序排序，得到n×n的对角矩阵，删除矩阵X的下三角和对角线元素，公式为：

并取剩余每列的最大值，公式为：

将K与阈值t比较，当K<t时，保留该检测框，若K≥t，则删除该检测框。

本发明的有益效果是：

1、从场景应用方面上，本发明采用的数据集均来自实际打靶环境采集，符合实际操作要求，能够适应多场景复杂环境。

2、从识别分割精度方面上，传统的人形靶分割智能分割靶面与背景差别明显的图像，对于背景与靶面差别小，或是靶面清晰度不高的图像，不能有很好的区分效果，采用本发明可以很好的分割靶面与背景，在不同光照、遮挡、清晰度等条件下均能准确分割靶面。

3、从识别分割速度方面上，本发明采用两个并行子网络来生成最终的目标mask，同时采用了一种Fast-NMS筛选方法，提高了人形靶的分割速度。

4、从后续处理方面上，本发明在分割出靶面之后会自动截取出靶面部分图像，由于后续的靶环检测及弹孔检测均不需要检测除靶面之外的区域，因此将只包含靶面区域的图像传入到后续检测过程中既可以减少后续检测所花费的时间，又可以避免在后续检测中因背景干扰所带来的检测效率及准确度降低的问题。

附图说明

图1是本发明的卷积神经网络模型结构图；

图2是本发明的人形靶分割方法流程图；

图3是本发明人形靶分割结果展示图。

具体实施方式

为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例对本发明作进一步详细说明。

如图1-2所示，本发明实施例中按如下步骤实施基于卷积神经网络的人形靶分割方法：

步骤1：构建人形靶目标分割数据集，收集在实际打靶环境中的靶面图像作为原始输入数据，对原始输入数据进行人工标注，并按照8:1:1的比例划分训练集、验证集和测试集；

步骤2：将图像输入以ResNet101为Backbone的深度卷积网络中，依次提取图像特征层C1,C2,C3,C4和C5，其中C1为ResNet经过conv1卷积模块得到的特征层，C2为ResNet经过conv2_x卷积模块得到的特征层，C3为ResNet经过conv3_x卷积模块得到的特征层，C4为ResNet经过conv4_x卷积模块得到的特征层，C5为ResNet经过conv5_x卷积模块得到的特征层；

步骤3：构建FPN网络，将图像特征层C5经过单次卷积得到P5，将图像特征层C4经过单次卷积，并将P5进行一次双线性插值法，将两者结果相加得到P4，将图像特征层C3经过单次卷积，并将P4进行一次双线性插值法，将两者结果相加得到P3，将P5进行卷积下采样得到P6，将P6进行卷积下采样得到P7；

步骤4：将得到的图像特征层送入两个并行网络--Protonet网络与PredictionHead网络，包括以下子步骤：

4.1：将P3送入Protonet网络用于生成原型掩膜，Protonet网络为若干层卷积网络，最终输出卷积层维度为138×138×k，其中k为生成的原型掩膜个数，本实例取k＝32；

4.2：将P3-P7送入Prediction Head网络用于生成位置偏移参数，类别置信度及mask的掩码系数，Prediction Head网络采用共享卷积网络结构设计，经过若干卷积操作之后对同一网络特征层分别进行三类卷积，得到对应的位置偏移参数W×H×4a、类别置信度W×H×ca及mask掩码系数W×H×ka，本实例只有人形靶一个类型及背景，故c＝2；

4.3：通过Prediction Head网络之后需要利用Fast NMS筛选得到最优的ROI，首先对每个类别的前n个检测框计算一个c×n×n的IoU矩阵X，并对每个类别按置信度降序排序，得到n×n的对角矩阵，删除矩阵X的下三角和对角线元素，公式为：

并取剩余每列的最大值，公式为：

将K与阈值t比较，本次t取0.5，当K<t时，保留该检测框，若K≥t，则删除该检测框。

步骤5：将经过Protonet网络得到的原型掩码P(h×w×k)和Prediction Head网络得到的mask的掩码系数C(n×k)相乘，再将结果使用sigmod激活函数σ，得到图片中人形靶目标的mask为M，公式表示如下：

M＝σ(PC^T)

步骤6：将得到的mask进行Crop操作，将边界外的mask清零，之后执行Cut操作，从图像中截取人形靶区域。图3为测试集中分割部分结果展示，六张图片上下两两对应，上方为原始图像，下方黑色区域为分割后的人形靶区域，图像分割结果精确，边缘分割整齐完整。

本发明针对目前人形靶分割精度不高，人形靶识别分割速度慢及对复杂场景的适应能力较低的问题，通过利用卷积神经网络设计实现了一种快速高效且适应力强的人形靶分割方法，本网络在采用ResNet101作为Backbone时训练出的Total Loss值可以降到0.1以下，在验证集与测试集上测试结果对于人形靶边缘部分分割准确，同时分割速度可达到20FPS以上，对比利用Mask-RCNN、MS-RCNN等网络只能达到10FPS左右，在速度上有较大提高。此外，通过确定人形靶的位置信息，将人形靶区域从图像中截取出来，剔除背景的干扰，提高后续的弹孔检测速度与精度。

Claims (2)

1.一种基于卷积神经网络的人形靶分割方法，其特征在于，包括以下步骤：

1)将图像输入以ResNet101或ResNet50为Backbone的深度卷积网络中，依次提取图像特征层C1,C2,C3,C4和C5，其中C1为ResNet经过conv1卷积模块得到的特征层，C2为ResNet经过conv2_x卷积模块得到的特征层，C3为ResNet经过conv3_x卷积模块得到的特征层，C4为ResNet经过conv4_x卷积模块得到的特征层，C5为ResNet经过conv5_x卷积模块得到的特征层；

2)构建FPN网络，将图像特征层C5经过单次卷积得到P5，将图像特征层C4经过单次卷积，并将P5进行一次双线性插值法，将两者结果相加得到P4，将图像特征层C3经过单次卷积，并将P4进行一次双线性插值法，将两者结果相加得到P3，将P5进行卷积下采样得到P6，将P6进行卷积下采样得到P7；

3)将得到的图像特征层送入Protonet网络和Prediction Head网络，两个网络为并行网络；

4)将经过Protonet网络得到的原型掩码P(h×w×k)和Prediction Head网络得到的mask的掩码系数C(n×k)相乘，再将结果使用sigmod激活函数σ，得到图片中人形靶目标的mask为M，公式表示如下：

M＝σ(PC^T)

5)将得到的mask进行Crop操作，将边界外的mask清零，之后执行Cut操作，从图像中截取人形靶区域。

2.根据权利要求1所述的一种基于卷积神经网络的人形靶分割方法，其特征在于，步骤3)具体为：

3.1)将P3送入Protonet网络用于生成原型掩膜，Protonet网络为若干层卷积网络，最终输出卷积层维度为138×138×k，其中k为生成的原型掩膜个数；

3.2)将P3-P7送入Prediction Head网络用于生成位置偏移参数，类别置信度及mask的掩码系数，Prediction Head网络采用共享卷积网络结构设计，经过若干卷积操作之后对同一网络特征层分别进行三类卷积，得到对应的位置偏移参数W×H×4a、类别置信度W×H×ca及mask掩码系数W×H×ka；

3.3)通过Prediction Head网络之后利用Fast NMS筛选得到最优的ROI，首先对每个类别的前n个检测框计算一个c×n×n的IoU矩阵X，并对每个类别按置信度降序排序，得到n×n的对角矩阵，删除矩阵X的下三角和对角线元素，公式为：

并取剩余每列的最大值，公式为：

将K与阈值t比较，当K<t时，保留该检测框，若K≥t，则删除该检测框。