CN109409435B - 一种基于卷积神经网络的深度感知显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的深度感知显著性检测方法，具体步骤如下：a.将深度图转化为三通道深度图；b.将三通道深度图和彩色图分别送入彩色显著性网络和深度显著性网络中，得到彩色显著性图和深度显著性图；c.将彩色显著性图和深度显著性图一起送入显著性融合网络中，得到融合显著性图；d.将彩色显著性图和深度显著性图联合训练并计算损失函数loss，以此来训练步骤b和c中的网络，让其拥有更强的特征提取能力。

Description

一种基于卷积神经网络的深度感知显著性检测方法

技术领域

本发明涉及一种图像显著性检测方法，特别是一种基于卷积神经网络的深度感知显著性检测方法，旨在通过RGB图和深度图来检测出图像中的显著性物体。

背景技术

显著性检测模仿人类视觉机制，利用计算机对图像上在人眼中最显著的物体进行检测，显著性检测算法得到的显著性图是一种灰度图，图中利用灰度值来表示图片中不同物体的显著性程度，图中越亮的区域越显著。近年来显著性检测一直是计算机视觉领域的一个重要课题，它可以在很多课题中起到应用，比如图像分类，图像分割和对象识别。随着显著性检测受到越来越多的关注，人们开始思考如何利用深度信息来辅助进行显著性检测，随着立体相机，深度相机以及微软的kinect传感器的出现，深度图被用到RGBD显著性检测中，RGBD显著性检测在3D内容监控，立体图像检索等方面有重要的应用。

现有技术中，2017年，宋等人针对RGBD图像和立体图像，提出一种深度感知显著性检测和分割框架，通过利用低级特征对比、中级特征加权因子和高级位置先验，基于多尺度区域分割计算了四类特征的各种显著性度量，利用随机森林回归器来区分显著性融合并在每个尺度上生成DSF显著性图。2017年，韩等人提出了一个基于双流法的RGBD显著性检测框架，该方法分别将彩色图像和深度图像分别送入两个VGG网络，并通过迁移学习的方式，将彩色通道的权重迁移到深度网络中，并采用多尺度融合的方式，将两种图所提取的特征进行融合得到最后的显著性图。2018年，朱等人提出基于编码器和解码器结构的RGBD显著性检测方法，该方法将提取RGB显著特征的网络部分作为主网络，深度图用子网络来提取特征，并采用简单级联的方式将两种特征融合再采用解码器结构将特征图还原为显著性图。以上这些方法虽然利用深度信息来生成显著性图，但对深度图中的信息提取不够，并且没有较好的将深度信息和彩色信息进行融合。

发明内容

本发明的目的在于提高现有技术的性能，提出一种基于卷积神经网络的深度感知显著性检测方法。其基于深度显著性网络，彩色显著性网络和显著性融合网络，利用深度信息和彩色信息能够更为准确地提取出RGBD图像中的显著性对象并将两种显著性图进行融合，并且有效地抑制无关的背景区域。

为了达到上述目的，本发明采用的技术方案如下：

一种基于卷积神经网络的深度感知显著性检测方法，具体步骤如下：

a.将深度图转化为三通道深度图；

b.将三通道深度图和彩色图分别送入彩色显著性网络和深度显著性网络中，得到彩色显著性图和深度显著性图；

c.将彩色显著性图和深度显著性图一起送入显著性融合网络中，得到融合显著性图；

d.将彩色显著性图和深度显著性图联合训练并计算损失函数loss，以此来训练步骤b和c中的网络，让其拥有更强的特征提取能力；

上述步骤(a)将深度图转化为三通道深度图，具体步骤如下：

(a-1)、将深度图像全部送入HHA算法中，将深度图转化为水平差异图，对地高度图以及表面法向量图三种单通道深度图；

(a-2)、将这三种单通道深度图的像素值用RGB三种颜色表示，再将三种单通道深度图组成三通道深度图。

上述步骤(b)中将两种图送入两种显著性网络，得到彩色显著性图和深度显著性图，具体步骤如下：

(b-1)、输入原始彩色图像

和三通道深度图像

其中N表示图像的总张数；

(b-2)、彩色图送入彩色显著性检测模型，输出得到彩色显著性图；

(b-3)、三通道深度图送入一种深度显著性网络，该网络由两部分组成，基础网络部分是由VGG16部分组成，该网络对输入图像进行了卷积和池化操作，由于深度图所包含的信息量没有彩色图像多，为了更好的适应提取深度图特征的任务，将VGG16网络中的第五层池化去掉，避免过度池化损失信息，并在第三和第四次池化后加入dropout层，避免由于数据量不够导致的网络过拟合；为了更好的提取和结合浅层语义信息和深层细节信息，采用空间多尺度金字塔结构来融合信息，具体做法是将第5层卷积层输出的特征进行上采样，并与第4层卷积层输出的结果相加，然后将相加的结果进行卷积再做上采样，并与第3层卷积层输出的结果相加，再将相加的结果进行卷积和上采样，并与第2层卷积层结果相加，并将此结果经过卷积层变为2通道后再上采样输出得到深度显著性图。

上述步骤(c)用显著性融合网络计算融合图，具体步骤如下：

(c-1)、将彩色显著性图和深度显著性图一起送入显著性融合网络中，该网络主要由3个部分组成：相乘部分，相加部分和级联部分；

(c-2)、相加部分是将深度显著性图和彩色显著性图相加，完成显著性信息的互补，因为深度图和彩色图所包含的信息是不同的，所以网络所能提取出来的特征也不同，通过相加形成信息的互补；相乘部分是将深度显著性图先经过sigmoid函数，将深度显著性图归一化到[0,1]之间，即转化为一种权重图，高显著性部分权重接近1，低显著性部分权重接近0，将权重图和彩色显著性图相乘，则起到了强化共同的显著性部分，弱化各自显著性部分的作用；

(c-3)、将相加和相乘的结果送入级联层，将两种显著性结果融合并经过卷积后得到最终的融合显著性图。

上述步骤(d)计算网络损失函数loss，具体步骤如下：

(d-1)、将彩色显著性网络，深度显著性网络和显著性融合网络进行联合训练即同时计算3个网络的loss并相加得到总的loss值，如式(1)所示，

Loss_A＝Loss_D+Loss_C+Loss_F (1)

采取联合训练策略保证彩色显著性和深度显著性图都有较好的结果，这样使得彩色图和深度图都在网络中充分发挥作用，显著性融合网络的loss是为了保证在彩色显著性图和深度显著性图都有较好效果的情况下，能融合出一个好的融合显著性图，式(1)中的3个loss越小，步骤b和c中网络的特征提取能力越强；

(d-2)、三个网络的损失函数都采用相同的损失函数，如式(2)所示，

其中W和b代表损失函数的权重和偏差参数，Y₊和Y_-表示显著性对象和背景区域，β＝|Y₊|/Y表示显著性对象在背景中的比例，

表示像素属于显著性物体的概率。

与现有技术相比，本发明具有如下的优点：

1.本发明所使用的深度显著性网络相比与现有技术具有更强的特征提取能力。

2.本发明所提出的显著性融合网络能更好的将深度显著性图和彩色显著性图融合。

附图说明

图1是本发明一种基于卷积神经网络的深度感知显著性检测方法的流程图。

图2(a)是本发明步骤(a)中输入的原始深度图像。

图2(b)是本发明步骤(b)中输入的原始深度图像对应的彩色图像。

图2(c)是本发明由原始深度图像得到的HHA图。

图2(d)是本发明由HHA图组合得到的三通道深度图。

图3(a)是本发明基于彩色显著性网络得到的RGB显著性图。

图3(b)是本发明基于深度显著性网络得到的深度显著性图。

图3(c)是基于显著性融合网络得到的最终显著性图。

具体实施方式

下面结合说明书附图对本发明的实施例作进一步详细说明。

本发明进行的仿真实验是在CPU为4GHz、内存为16G，GPU为NVIDIA TITAN XP GPU的PC测试平台上编程实现，采用caffe框架来训练卷积神经网络，并调用matlab接口来测试实验结果，本网络调用已有的显著性检测模型做预训练模型并在此基础上微调，学习率设为10^-8，动量为0.9，批量设为32，网络迭代14000次得到最终模型。

如图1所示，一种基于卷积神经网络的深度感知显著性检测方法，其具体步骤如下：

(a)、利用HHA算法生成三通道深度图；

(a-1)、将深度图像，如图2(a)所示，全部送入HHA算法中，如图2(b)所示，该算法是由Gupta等人提出的，该算法可以将深度图转化为水平差异图，对地高度图以及表面法向量图三种单通道深度图，如图2(c)所示；

(a-2)、将这三种单通道深度图的像素值用RGB三种颜色表示，再将三种单通道深度图组成三通道深度图，如图2(d)所示。

(b)、将两种图送入两种显著性网络，得到彩色显著性图和深度显著性图；

(b-1)、输入原始彩色图像

和三通道深度图像

如图2(a)和2(b)所示，N表示图像的总张数，

(b-2)彩色图送入彩色显著性检测模型，输出得到彩色显著性图；如图3(a)所示；

(b-3)、三通道深度图送入一种深度显著性网络，具体结构如表1所示；

表1.深度显著性网络结构，C[卷积核]-[张量维度]-[特征尺寸]，DC[上采样倍数]-[张量维度]-[特征尺寸]，C表示卷积，DC表示反卷积

该网络由两部分组成，基础网络部分是由VGG16部分组成，该网络对输入图像进行了卷积和池化操作，由于深度图所包含的信息量没有彩色图像多，为了更好的适应提取深度图特征的任务，将VGG16网络中的第五层池化去掉，避免过度池化损失信息，并在第三和第四次池化后加入dropout层，避免由于数据量不够导致的网络过拟合；为了更好的提取和结合浅层语义信息和深层细节信息，采用空间多尺度金字塔结构来融合信息，具体做法是将第5层卷积层输出的特征进行上采样，并与第4层卷积层输出的结果相加，然后将相加的结果进行卷积再做上采样，并与第3层卷积层输出的结果相加，再将相加的结果进行卷积和上采样，并与第2层卷积层结果相加，并将此结果经过卷积层变为2通道后再上采样输出得到深度显著性图，如图3(b)所示。

(c)、将两种显著性图送入显著性融合网络得到融合显著性图；

(c-1)、将彩色显著性图和深度显著性图一起送入显著性融合网络中，如图3(a)和3(b)所示，卷积部分结构如表2所示；该网络主要由3个部分组成相乘部分，相加部分和级联部分；

表2.深度融合网络结构，C[卷积核]-[张量维度]-[特征尺寸]，C表示卷积

Block	Layers
		Conv1_f	C3-64-[256,256],C3-64-[256,256],C1-2-[256,256]
Conv2_f	C3-64-[256,256],C3-64-[256,256],C1-2-[256,256]
		Conv3_f	C3-64-[256,256],C3-64-[256,256],C1-2-[256,256]

(c-2)、相加部分是将深度显著性图和彩色显著性图相加，完成显著性信息的互补，因为深度图和彩色图所包含的信息是不同的，所以网络所能提取出来的特征也不同，通过相加形成信息的互补，再将相加特征经过Conv1_f卷积；相乘部分是将深度显著性图先经过sigmoid函数，将深度显著性图归一化到[0,1]之间，即转化为一种权重图，高显著性部分权重接近1，低显著性部分权重接近0，将权重图和彩色显著性图相乘，再将相加特征经过Conv2_f卷积，相乘起到了强化共同的显著性部分，弱化各自显著性部分的作用；

(c-3)、将相乘和相加的结果送入级联层将两种显著性结果融合并经过Conv3_f卷积后得到最终的融合显著性图，如图3(c)所示；

(d)、计算训练时的损失函数；

(d-1)、将彩色显著性网络，深度显著性网络和显著性融合网络进行联合训练即同时计算3个网络的loss并相加得到总的loss值，如式(1)所示，

Loss_A＝Loss_D+Loss_C+Loss_F (1)

采取联合训练策略保证彩色显著性和深度显著性图都有较好的结果，这样使得彩色图和深度图都在网络中充分发挥作用，显著性融合网络的loss是为了保证在彩色显著性图和深度显著性图都有较好效果的情况下，能融合出一个好的融合显著性图，式(1)中的3个loss越小，步骤b和c中网络的特征提取能力越强；

(d-2)、三个网络的损失函数都采用相同的损失函数，如式(2)所示，

其中W和b代表损失函数的权重和偏差参数，Y₊和Y_-表示显著性对象和背景区域，β＝|Y₊|/Y表示显著性对象在背景中的比例，

表示像素属于显著性物体的概率。

从上述仿真实验结果可以看出，本发明一种基于卷积神经网络的深度感知显著性检测，能够更有效完整地突显两种图中显著的对象，并抑制无关的背景区域。

Claims (4)

1.一种基于卷积神经网络的深度感知显著性检测方法，其特征在于，具体步骤如下：

(a).将深度图转化为三通道深度图；

(b).将三通道深度图和彩色图分别送入彩色显著性网络和深度显著性网络中，得到彩色显著性图和深度显著性图；

(c).将彩色显著性图和深度显著性图一起送入显著性融合网络中，得到融合显著性图；

(d).将彩色显著性图和深度显著性图联合训练并计算损失函数loss，以此来训练步骤(b)和(c)中的网络，让其拥有更强的特征提取能力；

所述步骤(c)用显著性融合网络计算融合图，具体步骤如下：

(c-1)、将彩色显著性图和深度显著性图一起送入显著性融合网络中，该网络主要由3个部分组成：相乘部分，相加部分和级联部分；

(c-2)、相加部分是将深度显著性图和彩色显著性图相加，相乘部分是将深度显著性图先经过sigmoid函数，将深度显著性图归一化到[0,1]之间，即转化为一种权重图，高显著性部分权重接近1，低显著性部分权重接近0，将权重图和彩色显著性图相乘；

(c-3)、将相加和相乘的结果送入级联层，将两种显著性结果融合并经过卷积后得到最终的融合显著性图。

2.根据权利要求1所述的基于卷积神经网络的深度感知显著性检测方法，其特征在于，所述步骤(a)将深度图转化为三通道深度图，具体步骤如下：

(a-1)、将深度图像全部送入HHA算法中，将深度图转化为水平差异图，对地高度图以及表面法向量图三种单通道深度图；

(a-2)、将这三种单通道深度图的像素值用RGB三种颜色表示，再将三种单通道深度图组成三通道深度图。

3.根据权利要求1所述的基于卷积神经网络的深度感知显著性检测方法，其特征在于，所述步骤(b)中将两种图送入两种显著性网络，得到彩色显著性图和深度显著性图，具体步骤如下：

(b-1)、输入原始彩色图像

和三通道深度图像

其中N表示图像的总张数，(b-2)、彩色图送入彩色显著性检测模型，输出得到彩色显著性图；

(b-3)、三通道深度图送入一种深度显著性网络，该网络由两部分组成，基础网络部分是由VGG16部分组成，该网络对输入图像进行了卷积和池化操作，将VGG16网络中的第五层池化去掉，并在第三和第四次池化后加入dropout层，采用空间多尺度金字塔结构来融合信息，具体做法是将第5层卷积层输出的特征进行上采样，并与第4层卷积层输出的结果相加，然后将相加的结果进行卷积再做上采样，并与第3层卷积层输出的结果相加，再将相加的结果进行卷积和上采样，并与第2层卷积层结果相加，并将此结果经过卷积层变为2通道后再上采样输出得到深度显著性图。

4.根据权利要求1所述的基于卷积神经网络的深度感知显著性检测方法，其特征在于，所述步骤(d)计算网络损失函数loss，具体步骤如下：

(d-1)、将彩色显著性网络，深度显著性网络和显著性融合网络进行联合训练即同时计算3个网络的loss并相加得到总的loss值，如式(1)所示，

Loss_A＝Loss_D+Loss_C+Loss_F (1)

式(1)中的3个loss越小，步骤(b)和(c)中网络的特征提取能力越强；

(d-2)、三个网络的损失函数都采用相同的损失函数，如式(2)所示，

其中W和b代表损失函数的权重和偏差参数，Y₊和Y_-表示显著性对象和背景区域，β＝|Y₊|/Y表示显著性对象在背景中的比例，

表示像素属于显著性物体的概率。

Images