CN109903276A - 基于多层融合的卷积神经网络rgb-d显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于多层融合的卷积神经网络RGB‑D显著性检测方法，包括：将VGG16网络中的全连层模块FC6和FC7转变为全卷积层、结合卷积层CONV1‑CONV5组成新的卷积神经网络；对新的卷积神经网络依次进行降维和融合操作，得到初始迭代的显著性检测结果；采用迭代优化对初始迭代的显著性检测结果进行细化；采用不同的训练数据对新的卷积神经网络依次进行初始化训练、第一第二次微调训练；对训练后的结果，使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转，获取显著性检测结果。本发明设计了有效的CNN模型，融合RGB和深度信息，并捕获显著对象的多尺度特征，融合了从较高层到较低层的卷积特征，以解决显著性物体的尺度问题。

Description

基于多层融合的卷积神经网络RGB-D显著性检测方法

技术领域

本发明涉及RGB-D显著性检测领域，尤其涉及一种基于多层融合的卷积神经网络RGB-D显著性检测方法。

背景技术

近年来，由于深度采集设备的发展和深度信息与显著性物体的密切关系，深度信息在图像显著性检测中引起了研究人员的关注。深度信息有助于区分具有相似颜色的前景物体和背景，得到较好的显著性检测结果。

针对一些图像现有的显著性检测器无法得到较好的显著性检测结果，导致RGB显著性检测器失效的主要原因是，仅使用RGB无法提供有效的前景和背景区分能力。然而，目前一些显著性检测算法，仅仅将深度信息作为额外的特征计算前景区域和背景区域像素(或者超像素)之间的距离。但由于深度图只有一个通道，如何从单通道上提取有效特征比较困难。仅将深度图作为附加特征不能紧密地耦合RGB和深度信息。尽管在一些工作中已经验证了深度对于显著性检测的重要性，但由于缺少RGB-D数据，RGB-D显著性检测并不像RGB显著性检测那样流行。

目前大多数RGB-D显著性检测器使用深度信息作为计算两个超像素之间距离的附加特征，这样无法有效的探索显著对象和RGB-D信息之间的关系。Qu等人通过CNN学习超像素的显著特征的组合^[1]，以紧密耦合RGB和深度。Han等人提出了一种基于CNN的框架^[2]，用于自动融合RGB和深度视图以获得显著性图。为了追求充分的融合，Chen等人提出了一种逐步互补的融合网络^[3]。

但这些方法都只是将RGB图像和深度图相结合，使用深度卷积网络直接输出显著性图，没有进一步利用深度图对显著性图进行优化。

参考文献

[1]L.Qu,S.He,J.Zhang,J.Tian,Y.Tang,and Q.Yang,Rgbd salient objectdetection via deep fusion,”IEEE Transactions on Image Processing,vol.26,no.5,pp.2274–2285,2017.

[2]J.Han,C.Hao,N.Liu,C.Yan,and X.Li,“Cnnsbased rgb-d saliencydetection via cross-view transfer and multiview fusion,”IEEE Transactions onCybernetics,vol.PP,no.99,pp.1–13,2017.

[3]C.L.Y.Chen H.,“Progressively complementarityaware fusion networkfor rgb-d salient object detection,”in IEEE Conference on Computer Vision andPattern Recognition,2018.

发明内容

本发明提供了一种基于多层融合的卷积神经网络RGB-D显著性检测方法，设计一个有效的CNN模型，融合RGB和深度信息，并捕获显著对象的多尺度特征，通过融合了从较高层到较低层的卷积特征，以解决显著性物体的尺度问题，详见下文描述：

一种基于多层融合的卷积神经网络RGB-D显著性检测方法，所述方法包括：

将VGG16网络中的全连层模块FC6和FC7转变为全卷积层、结合卷积层CONV1-CONV5组成新的卷积神经网络；

对新的卷积神经网络依次进行降维和融合操作，得到初始迭代的显著性检测结果；采用迭代优化对初始迭代的显著性检测结果进行细化(细化后的结果用于下一次迭代使用)；

采用不同的训练数据对新的卷积神经网络依次进行初始化训练、第一第二次微调训练；

对训练后的结果，使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转，获取显著性检测结果。

进一步地，所述新的卷积神经网络依次进行降维和融合操作具体为：

使用通道数为60的3×3的卷积核分别对转化为全卷积层的FC7层、池化层pool4层、pool3层和pool2层(为VGG16网络中的公知池化层，本发明实施例对此不做赘述)进行降维操作，得到降维后通道数为60的新特征CFC7层、Cpool4层、Cpool3层和Cpool2层；

从CFC7层开始逐渐融合尺度较小的Cpool4层、Cpool3层和Cpool2层的新特征。

具体实现时，所述采用迭代优化对初始迭代的显著性检测结果进行细化具体为：

使用深度图作为线索，对当前显著性图进行校正，给深度较小的像素赋予较大的显著性值。

优选地，所述采用不同的训练数据对新的卷积神经网络依次进行初始化训练具体为：

使用RGB图像、全零的显著性图和全零的深度图对所述新的卷积神经网络进行初始化。

进一步地，所述采用不同的训练数据对新的卷积神经网络进行第一第二次微调训练具体为：

使用RGB图像、初始化训练产生的显著性检测结果和全零的深度图，微调新的卷积神经网络；

使用RGB图像、第一次微调产生的显著性检测结果和深度图，微调新的卷积神经网络。

优选地，所述使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转具体为：

通过剪切获取显著性物体的边界框，随机选取若干个开始和结束位置，采用水平翻转进一步扩展数据。

本发明提供的技术方案的有益效果是：

1、本发明采用多层融合的卷积神经网络结构，从高层开始逐步融合低层特征，迭代的优化显著性检测结果；

2、本发明针对显著性检测的特点，提出了与图像分类不同的数据扩展方式，在扩展后的图像中保留了显著性物体的完整性；

3、本发明利用多层融合的卷积神经网络的逐层抽象能力，有效的融合了RGB和深度信息，提升了显著性检测的结果。

附图说明

图1为本发明提出的网络结构示意图；

图2为本发明提出的方法在不同迭代次数后得到的显著性检测结果示意图；

图3为本发明提出方法和其他方法在公共数据集NJU400上的检测结果示意图；

图4为本发明提出方法和其他方法在公共数据集NJU2000上的检测结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

一种基于多层融合的卷积神经网络RGB-D显著性检测方法，参见图1，该方法包括以下步骤：

一、迭代优化检测到的显著物体

本发明实施例中的RGB-D显著性检测的基本思想是使用循环卷积神经网络，迭代优化检测到的显著物体，形式化为：

S_t＝φ(I,D,S_t-1；W) (1)

其中，φ为网络模型函数，I为RGB图像，D为深度图，S为显著性检测结果，t为迭代次数，W为网络参数。

二、网络基本架构

参见图1，本发明实施例中的网络基本架构与VGG16网络结构相同(其中，VGG16网络结构主要包括：5个卷积层模块CONV1-CONV5、和两个全连层模块FC6、FC7，该VGG16网络结构为本领域技术人员所公知，本发明实施例对此不做赘述)，但本发明实施例将VGG16的全连层模块FC6和FC7转变为全卷积层。

使用通道数为60的3×3的卷积核分别对转化为全卷积层的FC7层、池化层pool4层、pool3层和pool2层进行降维操作，用于减少FC7层、pool4层、pool3层和pool2层的特征的通道数，得到降维后通道数为60的新的特征CFC7层、Cpool4层、Cpool3层和Cpool2层。

然后从CFC7层开始逐渐融合尺度较小的Cpool4层、Cpool3层和Cpool2层的新的特征，最后得到一次迭代的显著性检测结果。

三、对显著性检测结果进行细化

细化当前迭代的显著性检测结果(即第二部分的迭代的显著性检测结果)，作为下次迭代的输入。在细化时，使用深度图作为线索，对当前显著性图进行校正，给深度较小的像素赋予较大的显著性值，具体操作如下：

首先使用具有自适应阈值的二分法把显著性图分割成前景区域和背景区域，用MF表示前景掩码，采用下述公式(2)更新显著性：

SR_t＝λS_t-1⊙D+(1-λ)MF⊙S_t-1，t<T (2)

其中，⊙表示逐元素乘法，λ＝0.5表示平衡项，D为深度图，t<T表示迭代次数。

上述公式(2)中的等式右边第一项抑制具有较大深度(具体取值根据实际应用确定)的像素的显著性值，第二项增加了显著区域中像素的显著性值，同时避免了错误深度图的不良影响。

其中，上述自适应阈值的二分法为本领域技术人员所公知，本发明实施例对此不做赘述。

四、逐步训练网络

第一步，使用RGB图像、全零的显著性图和全零的深度图对本发明实施例中的网络进行初始化。

其中，全零的显著性图和全零的深度图的大小与输入图像大小相同，但其中的显著性值和深度值为零。

第二步，使用RGB图像、上次训练网络产生的显著性检测结果和全零的深度图，微调网络。

第三步，使用RGB图像、上次训练网络产生的显著性检测结果和深度图，微调网络。

即，在逐步训练本发明实施例构建的网络时，采用不同的训练数据对网络进行了3次训练。上述初始化和微调的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

五、扩展训练数据

不同于图像分类的数据扩展方法，显著性检测扩展后的图像需要保证显著性物体的完整性。因此，在数据扩展时，使用显著性物体的最小包围框，进行图像的剪切和镜面翻转。

综上所述，本发明实施例融合了RGB和深度信息，并捕获显著对象的多尺度特征，通过融合了从较高层到较低层的卷积特征，以解决显著性物体的尺度问题，满足了实际应用中的多种需要。

实施例2

下面结合图1、具体实例对实施例1中的方案进行进一步地介绍，详见下文描述：

本发明实施例在进行网络设计时，需要考虑如何有效利用卷积神经网络的不同尺度的特征，捕捉图像中不同尺度的显著性物体。

具体来讲，本发明实施例设计的多层融合的卷积神经网络逐步将较高层的卷积特征融合到较低层的卷积特征，最后产生与输入图像具有相同分辨率的显著图，即：

1)首先使用通道数为60的3×3的卷积分别对FC7层，pool4层，pool3层和pool2层进行降维操作；

通过上述操作，可以减少对应层的特征的通道数，得到降维后的CFC7层、Cpool4层、Cpool3层和Cpool2层。

2)然后从降维后的CFC7层开始融合Cpool4层，Cpool3层和Cpool2层的特征；

即，CFC7层先进行去卷积操作得到DFC7层，DFC7层与Cpool4层在第三维方向上进行拼接，拼接后的结果去卷积后得到Dpool4。以此方式将Dpool4与Cpool3层融合，融合的结果为Dpool3，Dpool3又与Cpool2层融合，融合的结果为Dpool2，Dpool2连接分类层产生显著性预测的结果。

在融合之前使用去卷积层将特征图进行上采样，在输出层Dpool2中使用2个去卷积滤波器，内核大小为8，步长为4产生和输入图像同样大小的显著性检测结果。

其中，DFC7层、Dpool4层和Dpool3层使用60个反卷积滤波器，内核大小为4，步幅为2进行上采样。

DFC7层的输出按Cpool4层输出的大小进行裁剪，剪切后的DFC7层的与Cpool4层以逐元素相加的方式生成Dpool4层的输入。

具体实现时，在Cpool3层和Cpool2层上进行类似的裁剪处理，本发明实施例在此不做赘述。

本发明实施例通过逐步结合较低层的特征，实现了在显著对象边界上更精确地进行显著性检测。

本发明实施例使用经过深度图优化的显著性图作为网络的输入，会促使网络产生更好的显著性预测结果。

注意到，在第一轮的训练中，本发明实施例使用全零显著图，网络仅根据RGB图像产生显著性预测。在生成的显著图中，可能存在背景中的像素具有较高显著性值。此时可以利用深度图，使用简单的算术运算对错误估计的显著性值进行抑制，具体操作参见实施例1中的第三部分，本发明实施例在此不做赘述。

本发明实施例采取用于图像分类的VGG16的卷积网络作为基础架构，在VGG16上添加了新的网络层(即通道数为60的3×3的卷积核)，用于显著性估计，并随机初始化新网络层的参数。

由于RGB-D的数据不足以训练所提出的网络，本发明实施例使用RGB图像预先训练所提出的CNN以进行显著性检测。在预训练时，使用全零的显著性图和全零的深度图来代替初始显著性图和深度图。

首先使用RGB图像对本发明实施例提出的网络进行预训练，直到它收敛为止；然后用RGB-D，和使用全零的显著性图和全零的深度图训练好的模型生成的显著图进行微调，进行两次微调以获得更好的初始显著性图。

本发明实施例针对显著性物体检测数据的特点进行了保留显著性物体的数据扩展方法。在数据扩展时，使用显著性物体的最小包围框，进行图像的剪切和镜面翻转。

具体来说，首先得到显著性物体的边界框(如果存在多个显著物体，则使用覆盖所有显著物体的边界框)。然后随机选取5个开始和结束位置，采用水平翻转进一步扩展数据，扩展示例如图2所示。在剪切和翻转的同时，图像所对应的真值图像同时被裁剪和翻转。加上原始的10,000张图像，共获得了110,000张图像用于对本发明实施例所提出的网络进行预训练。

针对RGB-D数据，本发明实施例使用了公共数据集NJU2000中的随机采样的1,588个图像。通过上述数据扩展方法对RGB-D图像进行了扩展，总计产生17,468个RGB-D图像。

实施例3

下面结合图3-图4对实施例1和2中的方案进行可行性验证，详见下文描述：

根据图1所示网络结构搭建本发明实施例中的网络，对RGB和RGB-D图像数据进行扩展，产生相应的训练数据集，并进行网络训练。对求得的显著性图进行细化，细化后进行网络微调。

从图3中，可以发现经过不同的训练，本发明实施例检测到的显著性结果有了较明显的改善。第一次迭代的结果是使用全零的显著性图和全零的深度图进行训练后的结果，可以看出得到的结果不完整且在第一行和第三行图像中无法得到正确的显著性物体。使用深度图和第一次迭代得到的显著性图微调网络后产生第二次迭代的结果较第一次有所改善，但仍存在检测不准确的问题。第三例为使用深度图和改进后的显著性图微调网络后的结果，发现检测到的显著性物体准确且完整。第四次迭代的结果基本上和第三次的结果相同，说明网络已经达到了极限。

从图4中，可以看出本发明实施例得到的显著性检测结果明显优于其它显著性检测结果。图4中，第一列到第三列分别为RGB图像、深度图、真值，第四列为本发明实例检测到的显著性结果。CUN、SD、SDSI和ACSD是基于RGB-D为输入的检测算法产生的检测结果，其它的为基于RGB图像输入的检测算法产生的检测结果。从图4的第一行结果图中可以看出，基于RGB-D的方法可以准确的定位到图像中的显著性物体。相对于现有方法的显著性检测结果，本发明实施例提出的方法得到的显著性检测结果更加准确，物体边界更加平滑。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述方法包括：

将VGG16网络中的全连层模块FC6和FC7转变为全卷积层、结合卷积层CONV1-CONV5组成新的卷积神经网络；

对新的卷积神经网络依次进行降维和融合操作，得到初始迭代的显著性检测结果；采用迭代优化对初始迭代的显著性检测结果进行细化；

采用不同的训练数据对新的卷积神经网络依次进行初始化训练、第一第二次微调训练；

对训练后的结果，使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转，获取显著性检测结果。

2.根据权利要求1所述的一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述新的卷积神经网络依次进行降维和融合操作具体为：

使用通道数为60的3×3的卷积核分别对转化为全卷积层的FC7层、池化层pool4层、pool3层和pool2层进行降维操作，得到降维后通道数为60的新特征CFC7层、Cpool4层、Cpool3层和Cpool2层；

从CFC7层开始逐渐融合尺度较小的Cpool4层、Cpool3层和Cpool2层的新特征。

3.根据权利要求1所述的一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述采用迭代优化对初始迭代的显著性检测结果进行细化具体为：

使用深度图作为线索，对当前显著性图进行校正，给深度较小的像素赋予较大的显著性值。

4.根据权利要求1所述的一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述采用不同的训练数据对新的卷积神经网络依次进行初始化训练具体为：

使用RGB图像、全零的显著性图和全零的深度图对所述新的卷积神经网络进行初始化。

5.根据权利要求1所述的一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述采用不同的训练数据对新的卷积神经网络进行第一第二次微调训练具体为：

使用RGB图像、初始化训练产生的显著性检测结果和全零的深度图，微调新的卷积神经网络；

使用RGB图像、第一次微调产生的显著性检测结果和深度图，微调新的卷积神经网络。

6.根据权利要求1所述的一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转具体为：

通过剪切获取显著性物体的边界框，随机选取若干个开始和结束位置，采用水平翻转进一步扩展数据。