CN109816100A - 一种基于双向融合网络的显著性物体检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于双向融合网络的显著性物体检测方法及装置，采用双向融合网络，能够更好地融合不同层级的特征。该方法包括以下步骤：提取输入图片的多尺度多层级特征图；采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图，得到种子特征图；采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合，得到与输入图片相同分辨率的特征图；采用反向融合子神经网络的多个卷积层对得到的与输入图片相同分辨率的特征图进行多卷积融合，得到显著性物体分割图。

Description

一种基于双向融合网络的显著性物体检测方法及装置

技术领域

本公开涉及模式识别、计算机视觉、深度学习领域，特别一种基于双向融合网络的显著性物体检测方法及装置。

背景技术

显著性物体检测任务旨在识别并分割出图片中最吸引人注意的物体。它是计算机视觉领域的一个基础问题，常常作为目标检测、图像编辑和图片分割等视觉任务的预处理过程。随着深度卷积神经网络发展，尤其是全卷积神经网络的发表，显著性物体检测等稠密预测在近几年取得了重要的发展。

一般来说，深度卷积网络能够提取输入图片的不同层级的特征。具体来说，深度卷积网络的顶层编码了用于分类的高级的语义信息。而底层则编码了丰富的局部细节信息，例如边缘和纹理信息。局部细节信息有助于得到精细边缘的分割图，而高层语义信息则提供了显著性物体所在区域。对于显著性物体检测而言，高层语义信息和低层细节信息是同等重要的。如何有效的融合这两种特征成为了显著性物体检测的关键。

显著性物体检测领域目前表现最好的融合方式是自顶向下的融合方式。发明人在研发过程中发现：自顶向下的融合方式不能够区分细长的和低对比度的区域。这是由于高层语义信息是低分辨率的，只包含了显著性物体的大致区域，甚至会丢失一部分低对比度的显著性区域。而低层的细节信息只能在最后几个阶段起作用，并不能有效的利用低层的细节信息。仅仅自顶向下融合这些特征是不完整的。

发明内容

为了克服上述现有技术的不足，本公开提供了一种基于双向融合网络的显著性物体检测方法及装置，采用双向融合网络，能够更好地融合不同层级的特征。

本公开所采用的技术方案是：

一种基于双向融合网络的显著性物体检测方法，该方法包括以下步骤：

提取输入图片的多尺度多层级特征图；

采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图，得到种子特征图；

采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合，得到与输入图片相同分辨率的特征图。

进一步的，用前馈子神经网络对输入图片进行卷积和下采样处理，得到多个不同尺度、不同层级的图像特征图，并分别输出至前向特征融合子神经网络和反向特征融合子神经网络的每一个卷积层上。

进一步的，所述采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图的步骤包括：

采用前向融合子神经网络中第一卷积层融合前馈子神经网络得到的最底层两个不同层级的特征图，得到前向融合子神经网络最底层融合后的特定层级特征图；

采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样，得到与当前阶段特征图分辨率相同的重排后特征图；

采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合，得到融合后的特定层级特征图；

重复上述步骤，直至采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的最顶层特征图进行融合，得到同时包含局部细节和全局语义信息的种子特征图。

进一步的，所述采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合的步骤包括：

将种子特征图与前馈子神经网络得到的最顶层的特征图进行融合，得到新的特征图；

采用元素重排方法得到的新的特征图进行下采样，得到反向融合子神经网络的当前阶段特征图；

将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合，得到新的特征图；

重复上述步骤，直至将反向融合子神经网络的最底层特征图与前馈子神经网络得到的最底层特征图进行融合，得到与输入图片分辨率相同的特征图。

进一步的，还包括：

采用反向融合子神经网络的多个卷积层对得到的与输入图片分辨率相同的特征图进行多卷积融合，得到显著性物体分割图。

一种基于双向融合网络的显著性物体检测装置，该装置用于实现如上所述的基于双向融合网络的显著性物体检测方法，该装置包括：

前馈子模块，被配置为提取输入图片的多尺度多层级特征图，分别输出到前向融合子模块和反向融合子模块；

前向融合子模块，被配置为采用前向特征融合子神经网络从底层到顶层逐渐融合接收到的不同尺度不同层级的特征图，得到种子特征图，输出至反向融合子模块；

反向融合子模块，被配置为采用反向融合子神经网络将接收到的种子特征图自顶层向底层逐层与不同层级的特征图进行融合，得到与输入图片相同分辨率的特征图，并对特征图进行多卷积融合，得到边缘精细的显著性物体分割图。

进一步的，所述前馈子模块，具体被配置为：

采用前馈子神经网络对输入图片进行卷积和下采样处理，得到多个不同尺度、不同层级的图像特征图，并分别输出至前向融合子模块和后向融合子模块的每一个卷积层上。

进一步的，所述前向融合子模块包括多个混合单元，所述混合单元具有被配置为：

采用前向融合子神经网络中卷积层融合前馈子神经网络得到的两个不同层级的特征图，得到该卷积层融合后的特定层级特征图；

采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样，得到与当前阶段特征图分辨率相同的重排后特征图；

采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合，得到融合后的前向融合子神经网络特定层级特征图。

进一步的，述反向融合子模块包括多个修正单元，所述修正单元具体被配置为：

采用元素重排方法对得到的新的特征图进行下采样，得到反向融合子神经网络的当前阶段特征图；

将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合，得到新的特征图。

进一步的，所述修正单元还配置为：

采用反向融合子神经网络的多个卷积层对得到的与输入图片相同分辨率的特征图进行多卷积融合，得到显著性物体分割图。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行如上所述的基于双向融合网络的显著性物体检测方法。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令所述指令适于由处理器加载并执行权利要求如上所述的基于双向融合网络的显著性物体检测方法。

通过上述技术方案，本公开的有益效果是：

(1)本公开采用前向融合子神经网络将前馈子神经网络得到的低层的局部空间细节信息传递到最后一层，使得最后一层的到的种子特征图不仅具有高层语义信息，同时还具有一定的局部细节信息，保证信息的不丢失，保证不同层级的信息可以有效的融合，提升反向融合的效果；

(2)本公开采用反向融合子神经网络将种子特征与前馈子神经网络得到的自顶层向底层的不同层级的特征图进行融合，得到最终的显著性图；

(3)本公开通过双向融合网络和元素重排的下采样方法，能够充分地融合不同层级的特征，能够预测出具有精细边缘的显著性物体分割图；

(4)本公开采用双向的融合网络来更好融合不同层级的特征，获得对图片更好的特征表达；

(5)本公开为了保证低层的局部空间细节信息能传递到高层，采用元素重排的下采样方式来替代常规的池化操作，通过元素重排来改变特征图张量的形状，使得特征的分辨率降低，通道数增加，使得显著性物体的边缘更加精细，显著性物体的定位更加精确。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本申请，并不构成对本公开的不当限定。

图1是根据一种或多种实施方式的基于双向融合网络的显著性物体检测方法流程图；

图2是根据一种或多种实施方式的基于双向融合网络的显著性物体检测方法可视化图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种或多种实施例提供一种基于双向融合网络的显著性物体检测方法，输入图片通过前馈子神经网络获得不同尺度、不同层级的特征；前向融合子神经网络从底层到顶层逐渐融合前馈子神经网络得到的不同层级的特征，得到同时包含局部细节和全局语义信息的种子特征；反向融合子神经网络从种子特征开始自顶向下逐渐融合前馈子神经网络得到的不同层级的特征。

请参阅附图1，该基于双向融合网络的显著性物体检测方法包括以下步骤：

S101，采用前馈子神经网络提取输入图片的多尺度多层级特征图。

具体的，所述步骤101中，利用输入图片构建训练集，将训练集作为前馈子神经网络的输入，通过前馈子神经网络对训练集中输入图片进行卷积和下采样处理，不同深度的卷积层得到多个不同尺度、不同层级的图像特征图，组成特征金字塔。

所述步骤101中，所述前馈子神经网络采用深度卷积神经网络，深度卷积神经网络的较深层编码了用于分类的高级的语义信息，而浅层则编码了丰富的局部细节信息，例如边缘和纹理信息。这些多尺度多层级的特征图都是显著性物体检测重要的特征图，双向融合网络就是为了充分融合这些特征图。

在本实施例中，所述多个不同尺度、不同层级的图像特征图分别为其中，低层的特征图是高分辨率的特征图，包括局部空间细节信息；高层的特征图是低分辨率的特征图，包括图片全局的语义特征。

在本实施例中，所述特征金字塔表示为：

其中，X表示输入图像，W为前馈网络的权重，表示不同尺度的特征图。

S102，采用前向特征融合子神经网络从底层到顶层逐渐融合步骤S101中前馈子神经网络得到的不同尺度不同层级的特征图，得到同时包含局部细节和全局语义信息的种子特征图。

由于在目前表现最好的自顶向下的特征融合方式中，浅层的空间细节信息只在融合的最后阶段才会起作用，而高层的特征是低分辨率且粗糙的，甚至会丢失一部分低对比度的显著性区域，或者使得显著性区域内部的小空洞区域消失。由于自顶向下的融合方式在开始融合时，种子特征是高层语义特征，并不包含空间细节信息。因此，本实施例采用前向特征融合子神经网络将浅层的空间细节信息传递到顶层种子特征图中，得到既包含高层语义特征又包含低层空间细节特征的新种子特征图。

在所述步骤102中，得到同时包含局部细节和全局语义信息的种子特征图为：

其中，表示前馈子神经网络得到的当前尺度下的特征图，表示前向融合子神经网络中上一阶段融合后的特征图，f_pixelshuffle表示采用元素重排方法，将上一阶段融合后的特征图进行下采样，f_fuse表示将这两个不同层级的特征使用多个卷积层进行融合。

具体的，所述步骤102中，采用前向融合子神经网络从底层到顶层逐渐融合前馈子神经网络得到的不同层级的特征图，具体采用如下方案实现：

(2-1)前向融合子神经网络中第一卷积层融合前馈子神经网络得到的最底层两个不同层级的特征图和得到前向融合子神经网络最底层融合后的特定层级特征图Bⁿ。

(2-2)采用元素重排方法对前向融合子神经网络中上一层融合后的特定层级特征图Bⁿ进行下采样，得到与当前阶段特征图分辨率相同的重排后特征图Cⁿ，保证信息的不丢失，从而保证不同层级的信息可以有效的融合。

为了降低底层特征的分辨率，本实施例采用下采样的方式。常见的下采样方式包括池化操作，但是常规的池化操作会对特征求局部的平均或者取局部的最大值，这种方式会丢失底层丰富的细节信息。使用池化逐阶段降低分辨率会导致底层的信息会逐渐丢失，空间细节信息并不能有效地传递到高层的种子特征中，因此，本实施例采用元素重排的下采样方法来替代池化操作。

在本实施例中，所述步骤(2-1)中得到的特征图Bⁿ为大分辨率的特征图，采用元素重排方法对特征图Bⁿ进行下采样1/2，得到形状为r²k×H×W的重排特征图Cⁿ。采用元素重排方法能够有效的保证底层的空间细节信息在下采样的过程中不丢失。

(2-3)采用拼接的方式将步骤(2-2)得到的重排后特征图Cⁿ与前馈子神经网络得到的当前阶段的特征图进行融合，得到融合后的特定层级特征图Bⁿ⁺¹。

在本实施例中，前馈子神经网络得到的当前阶段的特征图大小为d×H×W,采用直接拼接的方式将相同分辨率的两个特征图Cⁿ与A进行融合，得到融合后的特征图Bⁿ⁺¹。

前向融合子神经网络的特定层级特征通道数为k_h，前馈子神经网络得到的当前阶段的特征图的特征通道数为k_u，对前向融合子神经网络上一阶段融合得到的特征图下采样1/2，通道数增加为4k_h，则采用拼接的方式将相同分辨率的重排后的特征图与前馈子神经网络得到的当前阶段的特征图进行融合后，特征通道数为4k_h+k_u。

(2-4)重复步骤(2-2)和(2-3)，直至前向融合子神经网络完成从底层到顶层逐渐融前馈子神经网络得到的不同层级的特征图，得到同时包含局部细节和全局语义信息的种子特征图B^k。

本实施例在前向融合子神经网络中，为了保证低层特征能够传递到高层，采用元素重排方法来替代传统的池化执行下采样，降低特征图的分辨率，并且元素重排不会丢失细节信息，而池化操作是对局部求均值或者最大值，会丢失局部细节信息，采用元素重排的方法能够保证底层的局部空间细节信息能有效融合到高层语义特征中，得到同时具有局部空间细节信息和高层语义信息的、低分辨率的种子特征，这一特征可以提升反向融合的效果。

S103，采用反向融合子神经网络将步骤102得到的种子特征图自顶层向底层逐层与前馈子神经网络得到的不同层级的特征图进行融合，得到与输入图片相同分辨率的特征图，并对特征图进行多卷积融合，从而产生边缘精细的显著性物体分割图。

显著性物体检测等稠密预测任务同时需要高层语义信息和底层空间细节信息，高层的语义信息是底层的空间细节信息通过卷积神经网络转换得到的，那么在预测每个像素的标签的时候，高层的语义信息也应该自顶向下进一步跟高分辨率的带有细节信息的浅层特征融合，并逐渐增加特征的分辨率，最终得到边缘精细的显著图。在本实施例中，采用反向融合子神经网络自顶向下融合和修正这个既包含高层语义特征又包含低层空间细节特征的新种子特征图，最终得到边缘精细的显著图。

具体的，所述步骤103中，得到与输入图片相同分辨率的特征表达可以表示为：

其中，表示前馈子神经网络得到的当前尺度下的特征，表示反向融合子网络中当前阶段的特征图，f_pixelshuffle表示将融合后的特征以元素重排的方法进行下采样，增大特征分辨率；f_fuse表示将这两个不同层级的特征使用多个卷积层进行融合。本实施例通过进一步的反向融合，最终能到定位准确、边缘精细的显著图。

具体的，所述步骤103中，采用反向融合子神经网络将种子特征图自顶层向底层逐层与前馈子神经网络得到的不同层级的特征图进行融合，采用如下方案实现：

(3-1)将步骤102到的新的种子特征图B^k与前馈子神经网络得到的最高层的特征图A^k进行融合，得到新的特征图D^k-1；

(3-2)采用元素重排方法对步骤(3-1)得到的新的特征图D^k-1进行下采样，得到反向融合子神经网络的当前阶段特征图R^k-1；

(3-3)将反向融合子神经网络的当前阶段特征图R^k-1与前馈子神经网络得到的当前阶段特征图A^k-1进行融合，得到新的特征图D^k-2；

(3-4)因此重复步骤(3-2)和(3-3)，直到得到新的特征图D¹；

(3-5)经过多个卷积层融合，得到边缘精细的显著性物体分割图f是多卷积层融合函数。

假设Rⁿ的大小为C×H×W，而的大小为K×H×W，反向融合子神经网络会使用多个卷积层来融合R^N和得到新的特征D^n-1，其大小为r²d×H×W，通过元素重排方法，增大分辨率得到反向融合子神经网络的当前阶段特征图R^n-1，大小为d×rH×rW。

本实施例采用反向融合子神经网络进行逐层迭代，最终得到跟输入图片同样大小的特征图，经过多个卷积层得到最终的显著图，这样得到的显著图，边缘精确且定位准确。采用本实施例提出的显著性物体检测方法的可视化图如图2所示，图中，第一行为输入图像，第二行为本发明设计的显著性物体检测效果，第三行为人工标注的显著性物体。

在至少一个实施例中，所述前向融合子神经网络和反向融合子神经网络分别采用可端到端训练的深度卷积神经网络结构。

本实施例提出的显著性物体检测方法，采用双向融合网络结构利用前向融合子神经网络和反向融合子神经网络来逐渐融合不同尺度的特征；在前向融合子神经网络中，采用元素重排的下采样方法替代传统的池化操作，使得特征图的分辨率降低，便于与当前阶段的特征图融合；采用一个双向融合网络包括一个前向融合网络和一个反向融合网络来充分得融合不同层级和不同尺度的特征，最终可以获得边缘精确和定位精确的显著图。

一种或多种实施例提供一种基于双向融合网络的显著性物体检测装置，该装置用于实现如上所述的基于双向融合网络的显著性物体检测方法，该装置包括：

前馈子模块，被配置为提取输入图片的多尺度多层级特征图，分别输出到前向融合子模块和反向融合子模块。

前向融合子模块，被配置为采用前向特征融合子神经网络从底层到顶层逐渐融合接收到的不同尺度不同层级的特征图，得到同时包含局部细节和全局语义信息的种子特征图，输出至反向融合子模块；

反向融合子模块，被配置为采用反向融合子神经网络将接收到的种子特征图自顶层向底层逐层与不同层级的特征图进行融合，得到与输入图片相同分辨率的特征图，并对特征图进行多卷积融合，得到边缘精细的显著性物体分割图。

具体的，所述前馈子模块采用深度卷积神经网络提取输入图片的个不同尺度、不同层级的图像特征图，分别输出到前向融合子模块和反向融合子模块；其中，低层级的特征图是高分辨率的特征图，包括局部空间细节信息；高层的特征图是低分辨率的特征图，包括图片全局的语义特征。

具体的，所述前向融合子模块包括多个混合单元，所述混合单元，被配置为降低上一个混合单元输出的特征图Bⁿ的分辨率，二是融合当前尺度的特征图和下采样后的Bⁿ。

在本实施例中，所述混合单元具体被配置为：

采用前向融合子神经网络中一卷积层融合前馈子神经网络得到的两个不同层级的特征图和得到融合后的特定层级特征图Bⁿ；

采用元素重排方法对前向融合子神经网络中上一层融合后的特定层级特征图Bⁿ进行下采样，得到与当前阶段特征图分辨率相同的重排后特征图Cⁿ；

采用拼接的方式将得到的重排后特征图Cⁿ与前馈子神经网络得到的当前阶段的特征图进行融合，得到融合后的前向融合子神经网络特定层级特征图Bⁿ⁺¹。

假设B_n的大小为C×rH×rW,而的大小为K×H×W，混合单元的下采样部分会通过元素重排的方式将张量B_n的大小变为r²C×H×W,记为C_n。混合单元的融合模块会使用多个卷积层来融合C_n和得到新的特征B_n+1,B_n+1既包含了全局信息也包含了一定的局部空间细节信息。

具体的，所述反向融合子模块包括多个修正单元，所述修正单元，被配置为降低融合后新的特征图D_n-1的分辨率，并融合当前尺度的特征和R_n。

在本实施例中，所述修正单元具体被配置为：

采用元素重排方法对得到的新的特征图D^n-1进行下采样，得到反向融合子神经网络的当前阶段特征图R^k-1；

将反向融合子神经网络的当前阶段特征图R^k-1与前馈子神经网络得到的当前阶段特征图进行融合A^k-1进行融合，得到新的特征图D^k-2。

假设R_n的大小为C×H×W,而的大小为K×H×W，修正单元的融合模块会使用多个卷积层来融合R_n和得到新的特征D_n-1,其大小为r²d×H×W。通过元素重排，增大分辨率得到R_n-1，大小为d×rH×rW。

本实施例提出的显著性物体检测装置，采用前向融合子模块和后向融合子模块结构利用前向融合子神经网络和反向融合子神经网络来逐渐融合不同尺度的特征；在前向融合子模块中，采用元素重排的下采样方法替代传统的池化操作，使得特征图的分辨率降低，便于与当前阶段的特征图融合；采用前向融合子模块和后向融合子模块来充分得融合不同层级和不同尺度的特征，最终可以获得边缘精确和定位精确的显著图。

一种或多种实施例还提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行如上所述的基于双向融合网络的显著性物体检测方法。

一种或多种实施例还提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令所述指令适于由处理器加载并执行权利要求如上所述的基于双向融合网络的显著性物体检测方法。

工业上的实用性

本公开的基于双向融合网络的显著性物体检测方法和装置能够应用于语义分割、深度估计、阴影检测的用途。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于双向融合网络的显著性物体检测方法，其特征是，该方法包括以下步骤：

提取输入图片的多尺度多层级特征图；

采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图，得到种子特征图；

采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合，得到与输入图片相同分辨率的特征图。

2.根据权利要求1所述的基于双向融合网络的显著性物体检测方法，其特征是，采用前馈子神经网络对输入图片进行卷积和下采样处理，得到多个不同尺度、不同层级的图像特征图，并分别输出至前向特征融合子神经网络和反向特征融合子神经网络的每一个卷积层上。

3.根据权利要求1所述的基于双向融合网络的显著性物体检测方法，其特征是，所述采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图的步骤包括：

采用前向融合子神经网络中第一卷积层融合前馈子神经网络得到的最底层两个不同层级的特征图，得到前向融合子神经网络最底层融合后的特定层级特征图；

采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样，得到与当前阶段特征图分辨率相同的重排后特征图；

采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合，得到融合后的特定层级特征图；

重复上述步骤，直至采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的最顶层特征图进行融合，得到同时包含局部细节和全局语义信息的种子特征图。

4.根据权利要求1所述的基于双向融合网络的显著性物体检测方法，其特征是，所述采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合的步骤包括：

将种子特征图与前馈子神经网络得到的最顶层的特征图进行融合，得到新的特征图；

采用元素重排方法得到的新的特征图进行下采样，得到反向融合子神经网络的当前阶段特征图；

将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合，得到新的特征图；

重复上述步骤，直至将反向融合子神经网络的最底层特征图与前馈子神经网络得到的最底层特征图进行融合，得到与输入图片分辨率相同的特征图。

5.根据权利要求1所述的基于双向融合网络的显著性物体检测方法，其特征是，还包括：

采用反向融合子神经网络的多个卷积层对得到的与输入图片分辨率相同的特征图进行多卷积融合，得到显著性物体分割图。

6.一种基于双向融合网络的显著性物体检测装置，该装置用于实现权利要求1至5中任一项所述的基于双向融合网络的显著性物体检测方法，其特征是，包括：

前馈子模块，被配置为提取输入图片的多尺度多层级特征图，分别输出到前向融合子模块和反向融合子模块；

前向融合子模块，被配置为采用前向特征融合子神经网络从底层到顶层逐渐融合接收到的不同尺度不同层级的特征图，得到种子特征图，输出至反向融合子模块；

反向融合子模块，被配置为采用反向融合子神经网络将接收到的种子特征图自顶层向底层逐层与不同层级的特征图进行融合，得到与输入图片相同分辨率的特征图，并对特征图进行多卷积融合，得到边缘精细的显著性物体分割图。

7.根据权利要求6所述的基于双向融合网络的显著性物体检测装置，其特征是，所述前向融合子模块包括多个混合单元，所述混合单元具有被配置为：

采用前向融合子神经网络中卷积层融合前馈子神经网络得到的两个不同层级的特征图，得到该卷积层融合后的特定层级特征图；

采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样，得到与当前阶段特征图分辨率相同的重排后特征图；

采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合，得到融合后的前向融合子神经网络特定层级特征图。

8.根据权利要求6所述的基于双向融合网络的显著性物体检测装置，其特征是，述反向融合子模块包括多个修正单元，所述修正单元具体被配置为：

采用元素重排方法对得到的新的特征图进行下采样，得到反向融合子神经网络的当前阶段特征图；

将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合，得到与输入图片相同分辨率的新的特征图；

采用反向融合子神经网络的多个卷积层对得到的与输入图片相同分辨率的特征图进行多卷积融合，得到显著性物体分割图。

9.一种计算机可读存储介质，其中存储有多条指令，其特征是，所述指令适于由终端设备的处理器加载并执行权利要求1至5中任一项所述的基于双向融合网络的显著性物体检测方法。

10.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征是，所述指令适于由处理器加载并执行权利要求1至5中任一项所述的基于双向融合网络的显著性物体检测方法。