CN109584248B - 基于特征融合和稠密连接网络的红外面目标实例分割方法 - Google Patents

Abstract

本发明公开了一种基于特征融合和稠密连接网络的红外面目标实例分割方法，采集并构建实例分割所需的红外图像数据集，获得原有已知的红外标签图像；对所述红外图像数据集作图像增强的预处理；对预处理后的训练集进行处理获得分类结果、边框回归结果和实例分割掩膜结果图；使用随机梯度下降法在卷积神经网络中根据预测损失函数进行反向传播，并更新卷积网络的参数值；每次选取固定数量的红外图像数据训练集送入网络进行处理，重复对卷积网络参数进行迭代更新，直至最大迭代次数完成对卷积网络的训练；对测试集图像数据进行处理，获取实例分割的平均精度和所需时间，以及最终实例分割结果图。

Description

基于特征融合和稠密连接网络的红外面目标实例分割方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于特征融合和稠密连接网络的红外面目标实例分割方法。

背景技术

目标实例分割是对图像中的每个像素点，给出该像素点的实例类别，并预测类别标签和像素级实例掩码以定位图像中不同数量的实例。对图像进行实例分割可以获取图像的目标信息，更好的理解图像的高层次内容和代表的信息，实例分割是最重要、最具挑战性的任务之一，对图像中特定目标的定位、图像搜索、自动驾驶中道路场景的识别和视频监控等很有用，在实际应用中具有很高的实用价值。实例分割现有的基本思路都是目标检测加上语义分割来进行对个体的分割。

目前，主要的目标检测方法可以大致分为两类，一类是基于传统机器学习的目标检测方法，一类是基于深度学习的目标检测方法。在深度学习流行之前，基于传统的机器学习的方法都是首先通过人工设计的特征提取器，将其送入分类器中进行分类。代表性的有：1、方向梯度直方图(Historgram of Oriented Gradient,Hog)+支持向量机(SVM)；2、Harr+abdboost分类器；3：基于可形变的组件模型(DPM)。但基于传统机器学习的目标检测算法的检测性能很大依赖于特征提取器设计的优劣，鲁棒性和适应性较差。

近年来，由于深度学习在计算机视觉和自然语言处理上的卓越表现，卷积神经网络在计算机视觉基础任务上获得的突出成就，使得深度学习在目标检测等计算机视觉任务上获得更为广泛的应用。目前，检测精度最高的目标检测算法都是基于卷积神经网络。

基于深度学习的目标检测方法大致思想为：使用卷积神经网络通过卷积层、池化层以及改良的网络结构提取目标的特征，送入全连接层进行目标分类和坐标位置回归，所得到的预测值与真实的标定信息进行对比，计算损失函数，通过随机梯度下降的方法，更新网络提取的特征卷积参数，使其更符合实际情况。不断重复训练，直到达到预期的检测效果。

Jonathan Long,Evan Shelhamer和Trevor Darrell在其发表的论文“FullyConvolutional Networks for Semantic Segmentation”(《arXiv》1411.4038)中提出了一种基于深度学习的目标语义分割方法，简称全卷积网络—FCN。FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层输出的特征图进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类。但是网络使用的上采样的结果还是比较模糊和平滑，对图像中的细节不够敏感。

发明内容

为了解决现有技术中的上述问题，本发明提供了一种基于特征融合和稠密连接网络的目标实例分割方法。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种基于特征融合和稠密连接网络的红外面目标实例分割方法，该方法通过以下步骤实现：

步骤(1)采集并构建实例分割所需的红外图像数据集，在包含所需分割目标的红外图像数据集中标定所需分割目标的像素级轮廓与种类，获得原有已知的红外标签图像；

步骤(2)对所述红外图像数据集作图像增强的预处理，并分为训练集和验证集两部分；

步骤(3)对预处理后的训练集进行处理获得分类结果、边框回归结果和实例分割掩膜结果图；

步骤(4)将分类结果和边框回归以及实例分割掩膜结果图与步骤(1)中原有标定的红外图像数据集进行损失函数计算，使用交叉损失熵计算预测结果图与真实分割结果图之间的误差，使用随机梯度下降法在卷积神经网络中根据预测损失函数进行反向传播，并更新卷积网络的参数值；

步骤(5)每次从步骤(2)选取固定数量的红外图像数据训练集送入网络进行处理，重复步骤(3)、(4)对卷积网络参数进行迭代更新，直至最大迭代次数完成对卷积网络的训练；

步骤(6)使用步骤(5)训练完成的实例分割网络对测试集图像数据进行处理，获取实例分割的平均精度和所需时间，以及最终实例分割结果图。

上述方案中，所述步骤(2)中所述对红外图像数据集作图像增强的预处理，具体步骤如下：

步骤(2a)设定红外图像数据大小，并进行剪裁；

步骤(2b)对剪裁过的红外图像数据集进行随机的翻转变换，沿水平或垂直方向进行图像翻转；

步骤(2c)对翻转变换过的红外图像数据集进行对比度变换，在红外图像数据集的HSV颜色空间，改变饱和度S和亮度分量V，保持色调H不变。对每个像素的饱和度S和亮度V分量进行指数运算。

上述方案中，所述步骤(3)对预处理后的训练集进行处理获得分类结果、边框回归结果和实例分割掩膜结果图，具体通过以下步骤实现：

步骤(3a)将预处理后的训练集红外图像数据输入稠密连接网络进行特征提取得到多维度的特征图；

步骤(3b)将所述多维度特征图使用注意力机制进行特征融合得到融合后的特征图；

步骤(3c)将所述融合后的特征图送入候选区域建议模块并使用非极大值抑制提取一定数量的候选区域；

步骤(3d)将所述融合后的特征图和提取的候选区域送入回归预测网络进行分类和边框回归以及掩膜网络进行目标分割得到结果图。

上述方案中，所述步骤(3)中所述稠密连接网络结构由稠密连接模块、转换模块以及若干单独的卷积层和池化层组成，连接顺序为转换模块和稠密连接交替连接；其中，所述稠密连接模块由若干个卷积模块构成，在同一稠密连接中，当前卷积模块与前项所有卷积模块建立连接关系。

上述方案中，所述卷积模块共有三种模式，模式一为由一个卷积核为1×1的卷积层和一个卷积核为3×3的卷积层构成；模式二为由一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层构成；模式三为由一个卷积核为1×1的卷积层和一个卷积核为3×3的卷积层以及一个卷积核为1×1的卷积层构成。

上述方案中，所述转换模块具有两种类型：转换池化模块和直接转化模块；所述转换池化模块由卷积核为3×3的卷积层和核为2×2的最大池化层组成，最大池化层实现下采样功能，将输入的特征图的尺度减少至原来的一半；所述的直接转换模块由单一卷积核为1×1的卷积层构成，不改变特征图尺度的大小；所述单独卷积层由一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层顺序连接而成。

上述方案中，所述步骤(3)中所述稠密连接结构是在残差连接结构的基础上，进一步扩展网络连接，对于稠密连接模块网络的任意一层，该层前面的所有特征图都是这层的输入，该层的特征图是后面所有层的输入；对前面的所有层都加一个单独的捷径连接到该层，使得在稠密模块中任意两层网络都可以直接沟通；记模型的输入图片为x₀，模型由Q层组成，每层的非线性转换函数为H_q(*)，q是层的序号，将q^th层的输出记为x_q，得到以下公式：

x_q＝H_q([x₀,x₁,...,x_q-1])，H_q(*)是批正则化+线性整流激活函数+卷积的组合。

上述方案中，所述步骤(4)中损失函数为：L＝L_cls+L_box+L_mask；其中，L为总损失函数，为三个分支网络损失函数之和。L_cls为分类损失，L_box为目标检测边框回归损失，L_mask为实例分割损失；

分类损失L_cls定义为：

其中，p_i为将建议目标区域预测为目标的概率，i为建议目标区域个数；p_i ^*为真实目标标签，N_cls为归一化权重，使得分类损失和目标检测回归损失在总损失中是等权重的；S_cls(p_i，p_i ^*)是目标与非目标的对数损失：

多目标分类的目标检测边框回归损失L_box定义为：

其中t_i＝{t_x，t_y，t_w，t_h}是一个向量，表示预测的目标标注框的4个参数化坐标；t_i ^*是真实的目标标注框的坐标向量；S_box(t_i,t_i ^*)是回归损失，通过S_box(t_i,t_i ^*)＝R(t_i-t_i ^*)来计算；R是smooth L1函数；λ为平衡权重归一化参数；N_box为归一化权重，使得分类损失和目标检测回归损失在总损失中是等权重的。

与现有的技术相比，本发明通过在红外图像数据集中使用图像增强，拥有更好的鲁棒性和泛化性；通过稠密块与残差网络结合的方法，解决深层神经网络在训练过程中的梯度爆炸/梯度消失问题；通过特征融合不同尺度特征图的方法，加强对较小目标的检测分割能力，从而达到提高实例分割预测准确率的目的。

附图说明

图1是本发明提供的基于特征融合和稠密连接网络的红外面目标实例分割方法的训练流程图；

图2是本发明提供的基于特征融合和稠密连接网络的红外面目标实例分割模型的示意图；

图3是本发明提供的基于特征融合和稠密连接网络的红外面目标实例分割方法的中间及最终结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种基于特征融合和稠密连接网络的红外面目标实例分割方法，如图1、2所示，该方法通过以下步骤实现：

步骤1构建训练集

采集并构建实例分割所需的红外图像数据集，在包含所需分割目标的红外图像数据集中标定所需分割目标的像素级轮廓、类别信息和目标框位置，得到原有已知的红外标签图像；

步骤2训练网络

训练检测网络的步骤如下：

第一步，从训练集中提取图像与标记信息，输入网络进行训练；

第二步，使用特征提取网络对训练图像进行特征提取，得到三组特征图F3、F4、F5；

第三步，对第二步所得的三组特征图进行结合注意力机制的特征融合，将融合后的特征图输入预测分支网络进行检测；

第四步，对第三步的检测结果计算损失函数。损失函数由三部分组成，分别是分类损失、目标检测边框回归损失和实例分割损失。损失函数的具体计算方法如下式：

L＝L_cls+L_box+L_mask

L_mask＝Sigmoid(cls_k)

其中，L为总损失函数，为三个分支网络损失函数之和。L_cls为分类损失，L_box为目标检测边框回归损失，L_mask为实例分割损失；p_i为将建议目标区域预测为目标的概率，i为建议目标区域个数；p_i ^*为真实目标标签，N_cls为归一化权重，使得分类损失和目标检测回归损失在总损失中是等权重的；S_cls(p_i，p_i ^*)是目标与非目标的对数损失；t_i＝{t_x，t_y，t_w，t_h}是一个向量，表示预测的目标标注框的4个参数化坐标；t_i ^*是真实的目标标注框的坐标向量；S_box(t_i,t_i ^*)是回归损失；λ为平衡权重归一化参数，为人工设定的，在这里设定为10；N_box为归一化权重，使得分类损失和目标检测回归损失在总损失中是等权重的；cls_k是预测掩膜区域的像素值；

实例分割损失L_mask为根据当前目标区域预测的分类，假设为c，选择对应的第c个m*m的特征层，m为经过感兴趣区域匹配的目标区域的边长，然后把原图中目标区域的掩膜区域映射成m*m大小的掩膜区域特征，最后计算该重叠区域的平均二值交叉损失熵作为实例分割损失函数。平均二值交叉熵损失，是通过逐像素的Sigmoid计算掩膜区域得到。cls_k是预测掩膜区域的像素值。

L_mask＝Sigmoid(cls_k)

第五步，根据损失函数对各层权重进行更新，直到在测试集上误差足够小为止。

步骤3特征提取

特征提取过程包含以下步骤：

第一步，使用卷积核大小为3*3，数量为32的卷积层对输入图像进行计算，然后进行2*2的池化运算，得到特征图F1。

第二步，使用包含64个3*3卷积核与64个1*1卷积核的稠密块对F1进行特征提取，同时计算残差，然后进行2*2的池化运算，得到特征图F2。

第三步，使用包含64个1*1卷积核与64个3*3卷积核的稠密块对F2进行特征提取，同时计算残差，然后进行2*2的池化运算，得到特征图F3。

第四步，使用包含64个1*1卷积核与64个3*3卷积核的稠密块对F4进行特征提取，然后进行1*1的卷积，同时计算残差，最后进行2*2的池化运算，得到特征图F4。

第五步，使用包含256个1*1卷积核与256个3*3卷积核的稠密块对F4进行特征提取，然后进行1*1的卷积，同时计算残差，最后进行2*2的池化运算，得到特征图F5。

第六步，使用包含1024个1*1卷积核、1024个3*3卷积核和1024个1*1卷积核的稠密块对F5进行特征提取，然后进行1*1的卷积，同时计算残差，得到特征图F6。

步骤4特征融合

特征融合的方法包含以下步骤：

第一步，提取步骤3中所得的特征图F4、F5、F6。

第二步，对特征图F6进行上采样，形成新的特征图F6’，同时加入注意力机制，对新的特征图中不同的区域使用不同的权重并与特征图F5组合成特征图组F7。

第三步，对特征图F7进行上采样，形成新的特征图F7’，同时加入注意力机制，对新的特征图中不同的区域使用不同的权重并与特征图F4组合成特征图组F8。特征图组F8即为最终得到的特征图。

步骤5区域建议

候选区域建议模块是对得到的融合特征图进行目标所在区域分割并区分目标和背景以获得包含目标的较小区域位置建议。这里使用全卷积网络来实现区域建议的功能。通过滑动窗口和锚机制选择性搜索特征图匹配得到包含目标的较小区域位置建议，为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的空间窗口上。每个滑动窗口映射到一个低维向量上(每个特征映射的一个滑动窗口对应一个数值)。这个向量输出给两个同级的全连接—目标框回归和目标分类。并通过感兴趣区域匹配将得到的目标区域固定成预定大小的特征图，将固定成预定大小的特征图送入三个并行的网络分支中，分别进行目标分类，目标框检测以及实例分割；

步骤6分支网络进行预测

这里一共有三个分支网络，分别是目标分类网络、目标框检测回归网络和实例分割网络。这里目标分类是全连接回归网络，通过将目标区域特征图输入到全连接层，经多层全连接层连接并通过激活函数得到关于类别的一系列输出值，所输出的最大值即为所属类别；目标框检测网络是全连接回归网络，通过将目标区域特征图输入到全连接层，通过多层全连接层连接进一步精准的预测边框所在位置，输出边框中心所在位置的坐标值和边框的宽和高；实例分割网络是全卷积网络，通过将目标区域特征图输入到全卷积层，通过多层全卷积输出一个k层的掩膜，这里k为总类别值，每一层为一类输出确定的掩膜，在训练时只对确定的目标所属的掩膜层进行误差预测。

步骤7输出最终结果

根据步骤6所得的目标分类信息、目标框位置还有分割掩膜，将其在原图像上进行标记，并输出。

如图3所示，图(3a)是一张红外图像，图(3b)是对红外图像感兴趣区域的提取和修改，图(3c)是掩膜分支的输出结果，图(3d)是红外图像的目标检测和实例分割图。

本发明提供的基于特征融合和稠密连接网络的红外面目标实例分割方法，红外图像经预处理后得到的数据集可以增强卷积神经网络对数据集的泛化性和鲁棒性，更有效的利用深度学习进行红外目标实例分割任务；

本发明将残差网络和稠密块同时引入特征提取网络。在稠密块内部，使用稠密连接，将后续的特征图与输入特征图直接相连。而在稠密块之间，通过残差网络，将各个稠密块直接相连。通过残差网络和稠密块相结合的方式，可以极大避免深层神经网络的梯度爆炸/消失问题，增强网络的性能；

本发明使用结合注意力机制的特征融合方法，在经过稠密连接网络得到的多尺度多维度的特征图时，将浅层网络输出的特征图与深层网络输出的特征图使用注意力机制分配不同的权重进行融合，使融合后的特征图能保留更多图像的细节信息，增强特征图对分割目标的敏感度，提升网络在检测较小目标时的准确率；

通过解耦目标检测和实例分割任务，使用两个并行的网络分支分别进行目标检测和目标分割，使得分割性能提升。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (1)

1.一种基于特征融合和稠密连接网络的红外面目标实例分割方法，其特征在于，该方法通过以下步骤实现：

步骤(1)采集并构建实例分割所需的红外图像数据集，在包含所需分割目标的红外图像数据集中标定所需分割目标的像素级轮廓与种类，获得原有已知的红外标签图像；

步骤(2)对所述红外图像数据集作图像增强的预处理，并分为训练集和验证集两部分；

步骤(3)对预处理后的训练集进行处理获得分类结果、边框回归结果和实例分割掩膜结果图；

步骤(4)将分类结果和边框回归以及实例分割掩膜结果图与步骤(1)中原有标定的红外图像数据集进行损失函数计算，使用交叉损失熵计算预测结果图与真实分割结果图之间的误差，使用随机梯度下降法在卷积神经网络中根据预测损失函数进行反向传播，并更新卷积网络的参数值；

步骤(5)每次从步骤(2)选取固定数量的红外图像数据训练集送入网络进行处理，重复步骤(3)、(4)对卷积网络参数进行迭代更新，直至最大迭代次数完成对卷积网络的训练；

步骤(6)使用步骤(5)训练完成的实例分割网络对测试集图像数据进行处理，获取实例分割的平均精度和所需时间，以及最终实例分割结果图；

所述步骤(4)中损失函数为：L＝L_cls+L_box+L_mask；其中，L为总损失函数，为三个分支网络损失函数之和，L_cls为分类损失，L_box为目标检测边框回归损失，L_mask为实例分割损失；

分类损失L_cls定义为：

其中，p_i为将建议目标区域预测为目标的概率，i为建议目标区域个数；p_i ^*为真实目标标签，N_cls为归一化权重，使得分类损失和目标检测回归损失在总损失中是等权重的；S_cls(p_i，p_i ^*)是目标与非目标的对数损失：

多目标分类的目标检测边框回归损失L_box定义为：

其中t_i＝{t_x，t_y，t_w，t_h}是一个向量，表示预测的目标标注框的4个参数化坐标；t_i ^*是真实的目标标注框的坐标向量；S_box(t_i,t_i ^*)是回归损失，通过S_box(t_i,t_i ^*)＝R(t_i-t_i ^*)来计算；R是smooth L1函数；λ为平衡权重归一化参数；N_box为归一化权重，使得分类损失和目标检测回归损失在总损失中是等权重的；

步骤(2)中所述对红外图像数据集作图像增强的预处理，具体步骤如下：

步骤(2a)设定红外图像数据大小，并进行剪裁；

步骤(2b)对剪裁过的红外图像数据集进行随机的翻转变换，沿水平或垂直方向进行图像翻转；

步骤(2c)对翻转变换过的红外图像数据集进行对比度变换，在红外图像数据集的HSV颜色空间，改变饱和度S和亮度分量V，保持色调H不变，对每个像素的饱和度S和亮度V分量进行指数运算；

所述步骤(3)对预处理后的训练集进行处理获得分类结果、边框回归结果和实例分割掩膜结果图，具体通过以下步骤实现：

步骤(3a)将预处理后的训练集红外图像数据输入稠密连接网络进行特征提取得到多维度的特征图；

包含以下步骤：

第一步，使用卷积核大小为3*3，数量为32的卷积层对输入图像进行计算，然后进行2*2的池化运算，得到特征图F1；

第二步，使用包含64个3*3卷积核与64个1*1卷积核的稠密块对F1进行特征提取，同时计算残差，然后进行2*2的池化运算，得到特征图F2；

第三步，使用包含64个1*1卷积核与64个3*3卷积核的稠密块对F2进行特征提取，同时计算残差，然后进行2*2的池化运算，得到特征图F3；

第四步，使用包含64个1*1卷积核与64个3*3卷积核的稠密块对F3进行特征提取，然后进行1*1的卷积，同时计算残差，最后进行2*2的池化运算，得到特征图F4；

第五步，使用包含256个1*1卷积核与256个3*3卷积核的稠密块对F4进行特征提取，然后进行1*1的卷积，同时计算残差，最后进行2*2的池化运算，得到特征图F5；

第六步，使用包含1024个1*1卷积核、1024个3*3卷积核和1024个1*1卷积核的稠密块对F5进行特征提取，然后进行1*1的卷积，同时计算残差，得到特征图F6；

所述步骤(3)中所述稠密连接网络结构由稠密连接模块、转换模块以及若干单独的卷积层和池化层组成，连接顺序为转换模块和稠密连接交替连接；其中，所述稠密连接模块由若干个卷积模块构成，在同一稠密连接中，当前卷积模块与前项所有卷积模块建立连接关系；

所述卷积模块共有三种模式，模式一为由一个卷积核为1×1的卷积层和一个卷积核为3×3的卷积层构成；模式二为由一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层构成；模式三为由一个卷积核为1×1的卷积层和一个卷积核为3×3的卷积层以及一个卷积核为1×1的卷积层构成；

步骤(3b)将所述多维度特征图使用注意力机制进行特征融合得到融合后的特征图；

步骤(3c)将所述融合后的特征图送入候选区域建议模块并使用非极大值抑制提取一定数量的候选区域；

步骤(3d)将所述融合后的特征图和提取的候选区域送入回归预测网络进行分类和边框回归以及掩膜网络进行目标分割得到结果图；

所述转换模块具有两种类型：转换池化模块和直接转化模块；所述转换池化模块由卷积核为3×3的卷积层和核为2×2的最大池化层组成，最大池化层实现下采样功能，将输入的特征图的尺度减少至原来的一半；所述的直接转化模块由单一卷积核为1×1的卷积层构成，不改变特征图尺度的大小；所述单独卷积层由一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层顺序连接而成；

所述步骤(3)中所述稠密连接模块是在残差连接结构的基础上，进一步扩展网络连接，对于稠密连接模块网络的任意一层，该层前面的所有特征图都是这层的输入，该层的特征图是后面所有层的输入；对前面的所有层都加一个单独的捷径连接到该层，使得在稠密模块中任意两层网络都可以直接沟通；记模型的输入图片为x₀，模型由Q层组成，每层的非线性转换函数为H_q(*)，q是层的序号，将q^th层的输出记为x_q，得到以下公式：

x_q＝H_q([x₀,x₁,...,x_q-1])，H_q(*)是批正则化+线性整流激活函数+卷积的组合。