CN113192093A - 基于双流网络结构的快速显著性目标检测方法 - Google Patents

Abstract

本发明公开了一种基于双流网络结构的快速显著性目标检测方法，所述方法包括：对标注值进行预处理，将标注值拆分为边缘轮廓图和主体图；将ResNet‑50网络中的卷积层conv3_4、conv4_6、conv5_3通过编码的方式分为边缘支流和主体支流；对边缘支流加入边缘轮廓增强模块，该支流用于检测边缘轮廓特征；主体支流按照ResNet‑50的结构进行卷积，检测主体特征；将通道注意模块入到高级语义特征的输出通道；将边缘轮廓特征与主体特征进行融合得到精确的显著目标图。本发明提高了检测速度和目标边缘轮廓的检测精度。

Description

基于双流网络结构的快速显著性目标检测方法

技术领域

本发明涉及目标检测领域，尤其涉及一种基于双流网络结构的快速显著性目标检测方法。

背景技术

显著性目标检测作为机器学习中重要的一部分，就实际使用而言，良好的显著性检测模型应该满足以下三点：

1)良好的检测性能：可以准确的定位显著性目标，并且误差区域越低越好；

2)检测到的目标具有较好的可分割性：检测到的目标边缘轮廓应该越完整精确越好，方便后续其他复杂处理过程进行处理；

3)检测速率，作为其他复杂过程的前端，显著性目标检测的速度应该越快越好，可以为后续过程节省更多的时间。

显著性目标检测的方法可以分为：基于先验知识的方法和基于深度学习的方法。基于先验知识的方法大多都是对显著性目标进行先验性的假设，并手工设计出特征进行显著性度量。然而在实际图像中，显著性目标和图像背景复杂多变，难以用有限的先验知识进行描述，从而造成这类方法检测结果不准确。基于深度学习的方法通过设计网络模型，提取有效的特征，用数据训练的方式获取显著性目标，从而获得更加精准的检测结果。但是，很多现有的基于深度学习的方法，在处理目标轮廓复杂容易与背景混叠情况下，检测精度并不理想，有时甚至会将背景误检为显著性目标。同时，很多检测方法的模型复杂，检测速度较慢，不符合实际应用。

在过去十几年中，显著性检测方法不论是基于各种先验知识的传统方法还是基于深度学习的方法都得到了极大的发展，但是大多数方法仅注重整体检测效果或仅注重简化模型提高检测速度，但是在实际应用中，检测方法应该同时关注检测速度和检测精度。

发明内容

本发明提供了一种基于双流网络结构的快速显著性目标检测方法，目的是提高检测速度和目标边缘轮廓的检测精度，详见下文描述：

一种基于双流网络结构的快速显著性目标检测方法，所述方法包括：

对标注值进行预处理，将标注值拆分为边缘轮廓图和主体图；

将ResNet-50网络中的卷积层conv3_4、conv4_6、conv5_3通过编码的方式分为边缘支流和主体支流；

对边缘支流加入边缘轮廓增强模块，该支流用于检测边缘轮廓特征；主体支流按照ResNet-50的结构进行卷积，检测主体特征；

将通道注意模块入到高级语义特征的输出通道；将边缘轮廓特征与主体特征进行融合得到精确的显著目标图。

在一种实施方式中，所述将ResNet-50网络中的卷积层conv3_4、conv4_6、conv5_3通过编码的方式分为边缘支流和主体支流具体为：

将卷积层conv3_4、conv4_6、conv5_3通过编码的方式分为卷积层conv3_4b、conv4_6b、conv5_3b和conv3_4e、conv4_6e、conv5_3e两个支流；

其中，卷积层conv3_4b、conv4_6b、conv5_3b表示主体支流，卷积层conv3_4e、conv4_6e、conv5_3e表示边缘支流。

在一种实施方式中，在基网络ResNet-50的conv2_3和边缘支流的conv3_4e之间并行加入四个不同膨胀率的膨胀卷积。

在一种实施方式中，所述将边缘轮廓特征与主体特征进行融合得到精确的显著目标图具体为：

将卷积层conv5_3e和conv5_3b输出的特征通过通道注意力机制，对高级语义特征进行权重优化分配；

通过张量拼接的方式将边缘轮廓特征与主体特征融合，通过1×1卷积输出单通道的显著性预测图。

本发明提供的技术方案的有益效果是：

1、本发明提高了显著性目标检测的速度，将显著性目标检测算法速度提升到了72FPS，提高了在复杂背景中显著性目标边缘轮廓的检测精度；

2、本发明通过对网络结构的优化，采用双流的形式对显著性目标同时检测主体位置和边缘轮廓信息，将模型参数降低到100Mb。

附图说明

图1为一种基于双流网络结构的快速显著性目标检测方法的网络结构图；

图2为边缘轮廓增强模块图；

图3为一种基于双流网络结构的快速显著性目标检测方法中的通道注意机制图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

针对提高显著性检测速率以及边缘轮廓的精度，本发明实施例提出一种结合主体支流和边缘支流的双流结构进行目标检测。两种支流网络通过融合反馈模块将高级语义信息和边缘信息有效的结合。同时，为得到更加丰富的边缘轮廓信息，本发明实施例在边缘支流的低级特征位置加入边缘轮廓增强模块来丰富边缘轮廓信息。为了抑制冗余的特征通道，本发明实施例在两个支流网络中均加入通道注意力机制，并通过融合模块，最终提高网络的检测速度。

本发明的目的是通过以下方式实现的：

1)为得到更加精确的边缘轮廓信息，本发明实施例首先对标注值进行预处理，将标注值拆分为边缘轮廓图和主体图。

具体来说，本发明实施例将标注值M中的每个像素划分为前景和背景，标记目标物体像素定义为前景

其余像素定义为背景

g(x,y)为对应像素，定义

g(x,y)值为1，

g(x,y)值为0。

本发明实施例利用欧式距离公式

计算前景像素和背景像素之间的距离，x,y分别为像素的横纵坐标g₁(x)为前景像素的横坐标，g₂(x)为背景像素的横坐标，g₁(y)为前景像素的纵坐标，g₂(y)为背景像素的纵坐标。如果g₁(x,y),g₂(x,y)都为背景像素时，则结果为0。因此经过距离变换后生成的主体图

像素表示为：

得到的主体图中目标中心像素值最大，目标边缘像素值最小。其次，将原始标注值与主体图进行像素值的相减，得到边缘轮廓图。另外，将原始标注值与得到的主体图和边缘轮廓图进行相乘以抑制其他信息干扰：

其中，B表示最终得到的主体图，而E表示最终边缘轮廓图。通过距离变换得到的主体图和边缘轮廓图，可以帮助网络学习得到准确的边缘轮廓预测图和主体预测图。

2)对标注值进行距离变换处理后进行模型训练。

采用ResNet-50为基础网络，利用ResNet-50网络中卷积层conv1和conv2_3对训练所需要的图像进行卷积处理，在图像经过conv2_3层时，将原始ResNet-50网络中的conv3_4、conv4_6、conv5_3通过编码的方式分为conv3_4b、conv4_6b、conv5_3b和conv3_4e、conv4_6e、conv5_3e两个支流，其中conv3_4b、conv4_6b、conv5_3b表示主体支流，conv3_4e、conv4_6e、conv5_3e表示边缘支流，结构方式如图1所示。对边缘支流加入边缘轮廓增强模块，该支流用于检测边缘轮廓特征。主体支流按照ResNet-50的结构进行卷积，检测主体特征。

如图2所示，本发明实施例在基网络ResNet-50的卷积层conv2_3和边缘支流的conv3_4e之间并行加入四个不同膨胀率的膨胀卷积，，卷积核大小均为3×3，膨胀率分别设置为1，3，5，7，每个膨胀卷积核对应的感受野为3×3，7×7，11×11，15×15，膨胀卷积能够增大感受野并保持和原始图片一样大小的输出，所以能较好地丰富低级特征并且不会改变原始特征输出的大小。

当低级特征同时通过四个不同膨胀率的膨胀卷积核时，本发明实施例设置每一个卷积核的输出维度都为64维，接下来本发明实施例通过拼接的方式将四个同维度的输出生成256维的输出，最后本发明实施例通过1×1的卷积核对输出进行维度的处理，生成与原始低级特征相同维度的具有更加丰富边缘轮廓信息的特征图。

3)将通道注意模块入到高级语义特征的输出通道。

如图3所示，在通过conv5_3e(b)之后，首先将输出通过一个全局池化层(globalpooling)，然后通过一个通道数为原始通道1/16的全连接层，经过ReLU激活函数后，再通过一个与原始通道数相同全连接层返回到原来的维度。上述处理直接用一个全连接层的好处在于：一是具有更多的非线性，可以更好地拟合通道间的相关性，二是极大地减少参数量和计算量。然后通过一个Sigmoid的激活函数获得0-1之间归一化的权重，最后通过一个Scale的操作将归一化后的权重加权到每个通道的特征上。

本发明实施例采用通道注意机制是为优化高级语义特征输出时对重要的特征分配更多的权重，对有效的特征达到最大程度的利用，而对不重要的特征进行抑制。

4)本发明实施例的目的是得到显著性目标图，所以需要将边缘轮廓特征与主体特征进行融合得到精确的显著目标图。

在融合时，本发明实施例首先将conv5_3e和conv5_3b输出的特征通过通道注意力机制，对高级语义特征进行权重优化分配，然后通过张量拼接的方式将边缘轮廓特征与主体特征融合，得到的显著性预测图既包含丰富边缘轮廓特征又包含优化权重后的主体特征。最后通过1×1卷积输出单通道的显著性预测图，流程如图1所示。

为使测试结果更加精确，在训练时加入翻转、旋转、正则化等图像增强的方法。本发明实施例使用ResNet-50网络作为基网络，并且对学习率使用线性衰减策略。整个网络通过随机梯度下降(SGD)进行端到端训练，在训练时加入翻转、旋转、裁剪等数据增强的方法。并且将对应标注的标注值进行预处理，得到边缘轮廓图和主体图。

1、先对数据集中的mask进行解耦，得到边缘轮廓图和主体图。

2、将训练数据集导入模型中，对模型进行训练。最大学习率设置为0.08，动量和重量衰减分别设置为0.9和0.0005，Batch size设置为32，最大epoch设置为48。

3、将图片的尺寸调整为352×352，在训练时加入翻转、旋转、裁剪等数据增强的方法。

4、训练结束后得到模型，利用得到的模型对测试集进行测试。

对标注值进行预处理，将标注值拆分为边缘轮廓图和主体图；

将ResNet-50网络中的卷积层conv3_4、conv4_6、conv5_3通过编码的方式分为边缘支流和主体支流；

对边缘支流加入边缘轮廓增强模块，该支流用于检测边缘轮廓特征；主体支流按照ResNet-50的结构进行卷积，检测主体特征；

将通道注意模块入到高级语义特征的输出通道；将边缘轮廓特征与主体特征进行融合得到精确的显著目标图。

在一种实施方式中，将ResNet-50网络中的卷积层conv3_4、conv4_6、conv5_3通过编码的方式分为边缘支流和主体支流具体为：

将卷积层conv3_4、conv4_6、conv5_3通过编码的方式分为卷积层conv3_4b、conv4_6b、conv5_3b和conv3_4e、conv4_6e、conv5_3e两个支流；

其中，卷积层conv3_4b、conv4_6b、conv5_3b表示主体支流，卷积层conv3_4e、conv4_6e、conv5_3e表示边缘支流。

在一种实施方式中，在基网络ResNet-50的conv2_3和边缘支流的conv3_4e之间并行加入四个不同膨胀率的膨胀卷积。

其中，所述将边缘轮廓特征与主体特征进行融合得到精确的显著目标图具体为：

将卷积层conv5_3e和conv5_3b输出的特征通过通道注意力机制，对高级语义特征进行权重优化分配；

通过张量拼接的方式将边缘轮廓特征与主体特征融合，通过1×1卷积输出单通道的显著性预测图。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。

计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于双流网络结构的快速显著性目标检测方法，其特征在于，所述方法包括：

对标注值进行预处理，将标注值拆分为边缘轮廓图和主体图；

将ResNet-50网络中的卷积层conv3_4、conv4_6、conv5_3通过编码的方式分为边缘支流和主体支流；

对边缘支流加入边缘轮廓增强模块，该支流用于检测边缘轮廓特征；主体支流按照ResNet-50的结构进行卷积，检测主体特征；

将通道注意模块入到高级语义特征的输出通道；将边缘轮廓特征与主体特征进行融合得到精确的显著目标图。

2.根据权利要求1所述的一种基于双流网络结构的快速显著性目标检测方法，其特征在于，所述将ResNet-50网络中的卷积层conv3_4、conv4_6、conv5_3通过编码的方式分为边缘支流和主体支流具体为：

将卷积层conv3_4、conv4_6、conv5_3通过编码的方式分为卷积层conv3_4b、conv4_6b、conv5_3b和conv3_4e、conv4_6e、conv5_3e两个支流；

其中，卷积层conv3_4b、conv4_6b、conv5_3b表示主体支流，卷积层conv3_4e、conv4_6e、conv5_3e表示边缘支流。

3.根据权利要求1所述的一种基于双流网络结构的快速显著性目标检测方法，其特征在于，在基网络ResNet-50的conv2_3和边缘支流的conv3_4e之间并行加入四个不同膨胀率的膨胀卷积。

4.根据权利要求1所述的一种基于双流网络结构的快速显著性目标检测方法，其特征在于，所述将边缘轮廓特征与主体特征进行融合得到精确的显著目标图具体为：

将卷积层conv5_3e和conv5_3b输出的特征通过通道注意力机制，对高级语义特征进行权重优化分配；

通过张量拼接的方式将边缘轮廓特征与主体特征融合，通过1×1卷积输出单通道的显著性预测图。

Images