CN109816100B - 一种基于双向融合网络的显著性物体检测方法及装置 - Google Patents

一种基于双向融合网络的显著性物体检测方法及装置 Download PDF

Info

Publication number
CN109816100B
CN109816100B CN201910092045.9A CN201910092045A CN109816100B CN 109816100 B CN109816100 B CN 109816100B CN 201910092045 A CN201910092045 A CN 201910092045A CN 109816100 B CN109816100 B CN 109816100B
Authority
CN
China
Prior art keywords
fusion
neural network
sub
feature map
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910092045.9A
Other languages
English (en)
Other versions
CN109816100A (zh
Inventor
谭铁牛
张彰
王亮
胡学财
王海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cas Artificial Intelligence Research Qingdao Co ltd
Original Assignee
Cas Artificial Intelligence Research Qingdao Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cas Artificial Intelligence Research Qingdao Co ltd filed Critical Cas Artificial Intelligence Research Qingdao Co ltd
Priority to CN201910092045.9A priority Critical patent/CN109816100B/zh
Publication of CN109816100A publication Critical patent/CN109816100A/zh
Application granted granted Critical
Publication of CN109816100B publication Critical patent/CN109816100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双向融合网络的显著性物体检测方法及装置,采用双向融合网络,能够更好地融合不同层级的特征。该方法包括以下步骤:提取输入图片的多尺度多层级特征图;采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图,得到种子特征图;采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合,得到与输入图片相同分辨率的特征图;采用反向融合子神经网络的多个卷积层对得到的与输入图片相同分辨率的特征图进行多卷积融合,得到显著性物体分割图。

Description

一种基于双向融合网络的显著性物体检测方法及装置
技术领域
本公开涉及模式识别、计算机视觉、深度学习领域,特别一种基于双向融合网络的显著性物体检测方法及装置。
背景技术
显著性物体检测任务旨在识别并分割出图片中最吸引人注意的物体。它是计算机视觉领域的一个基础问题,常常作为目标检测、图像编辑和图片分割等视觉任务的预处理过程。随着深度卷积神经网络发展,尤其是全卷积神经网络的发表,显著性物体检测等稠密预测在近几年取得了重要的发展。
一般来说,深度卷积网络能够提取输入图片的不同层级的特征。具体来说,深度卷积网络的顶层编码了用于分类的高级的语义信息。而底层则编码了丰富的局部细节信息,例如边缘和纹理信息。局部细节信息有助于得到精细边缘的分割图,而高层语义信息则提供了显著性物体所在区域。对于显著性物体检测而言,高层语义信息和低层细节信息是同等重要的。如何有效的融合这两种特征成为了显著性物体检测的关键。
显著性物体检测领域目前表现最好的融合方式是自顶向下的融合方式。发明人在研发过程中发现:自顶向下的融合方式不能够区分细长的和低对比度的区域。这是由于高层语义信息是低分辨率的,只包含了显著性物体的大致区域,甚至会丢失一部分低对比度的显著性区域。而低层的细节信息只能在最后几个阶段起作用,并不能有效的利用低层的细节信息。仅仅自顶向下融合这些特征是不完整的。
发明内容
为了克服上述现有技术的不足,本公开提供了一种基于双向融合网络的显著性物体检测方法及装置,采用双向融合网络,能够更好地融合不同层级的特征。
本公开所采用的技术方案是:
一种基于双向融合网络的显著性物体检测方法,该方法包括以下步骤:
提取输入图片的多尺度多层级特征图;
采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图,得到种子特征图;
采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合,得到与输入图片相同分辨率的特征图。
进一步的,用前馈子神经网络对输入图片进行卷积和下采样处理,得到多个不同尺度、不同层级的图像特征图,并分别输出至前向特征融合子神经网络和反向特征融合子神经网络的每一个卷积层上。
进一步的,所述采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图的步骤包括:
采用前向融合子神经网络中第一卷积层融合前馈子神经网络得到的最底层两个不同层级的特征图,得到前向融合子神经网络最底层融合后的特定层级特征图;
采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图;
采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到融合后的特定层级特征图;
重复上述步骤,直至采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的最顶层特征图进行融合,得到同时包含局部细节和全局语义信息的种子特征图。
进一步的,所述采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合的步骤包括:
将种子特征图与前馈子神经网络得到的最顶层的特征图进行融合,得到新的特征图;
采用元素重排方法得到的新的特征图进行下采样,得到反向融合子神经网络的当前阶段特征图;
将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到新的特征图;
重复上述步骤,直至将反向融合子神经网络的最底层特征图与前馈子神经网络得到的最底层特征图进行融合,得到与输入图片分辨率相同的特征图。
进一步的,还包括:
采用反向融合子神经网络的多个卷积层对得到的与输入图片分辨率相同的特征图进行多卷积融合,得到显著性物体分割图。
一种基于双向融合网络的显著性物体检测装置,该装置用于实现如上所述的基于双向融合网络的显著性物体检测方法,该装置包括:
前馈子模块,被配置为提取输入图片的多尺度多层级特征图,分别输出到前向融合子模块和反向融合子模块;
前向融合子模块,被配置为采用前向特征融合子神经网络从底层到顶层逐渐融合接收到的不同尺度不同层级的特征图,得到种子特征图,输出至反向融合子模块;
反向融合子模块,被配置为采用反向融合子神经网络将接收到的种子特征图自顶层向底层逐层与不同层级的特征图进行融合,得到与输入图片相同分辨率的特征图,并对特征图进行多卷积融合,得到边缘精细的显著性物体分割图。
进一步的,所述前馈子模块,具体被配置为:
采用前馈子神经网络对输入图片进行卷积和下采样处理,得到多个不同尺度、不同层级的图像特征图,并分别输出至前向融合子模块和后向融合子模块的每一个卷积层上。
进一步的,所述前向融合子模块包括多个混合单元,所述混合单元具有被配置为:
采用前向融合子神经网络中卷积层融合前馈子神经网络得到的两个不同层级的特征图,得到该卷积层融合后的特定层级特征图;
采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图;
采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到融合后的前向融合子神经网络特定层级特征图。
进一步的,述反向融合子模块包括多个修正单元,所述修正单元具体被配置为:
采用元素重排方法对得到的新的特征图进行下采样,得到反向融合子神经网络的当前阶段特征图;
将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到新的特征图。
进一步的,所述修正单元还配置为:
采用反向融合子神经网络的多个卷积层对得到的与输入图片相同分辨率的特征图进行多卷积融合,得到显著性物体分割图。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行如上所述的基于双向融合网络的显著性物体检测方法。
一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令所述指令适于由处理器加载并执行权利要求如上所述的基于双向融合网络的显著性物体检测方法。
通过上述技术方案,本公开的有益效果是:
(1)本公开采用前向融合子神经网络将前馈子神经网络得到的低层的局部空间细节信息传递到最后一层,使得最后一层的到的种子特征图不仅具有高层语义信息,同时还具有一定的局部细节信息,保证信息的不丢失,保证不同层级的信息可以有效的融合,提升反向融合的效果;
(2)本公开采用反向融合子神经网络将种子特征与前馈子神经网络得到的自顶层向底层的不同层级的特征图进行融合,得到最终的显著性图;
(3)本公开通过双向融合网络和元素重排的下采样方法,能够充分地融合不同层级的特征,能够预测出具有精细边缘的显著性物体分割图;
(4)本公开采用双向的融合网络来更好融合不同层级的特征,获得对图片更好的特征表达;
(5)本公开为了保证低层的局部空间细节信息能传递到高层,采用元素重排的下采样方式来替代常规的池化操作,通过元素重排来改变特征图张量的形状,使得特征的分辨率降低,通道数增加,使得显著性物体的边缘更加精细,显著性物体的定位更加精确。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本申请,并不构成对本公开的不当限定。
图1是根据一种或多种实施方式的基于双向融合网络的显著性物体检测方法流程图;
图2是根据一种或多种实施方式的基于双向融合网络的显著性物体检测方法可视化图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本公开提供进一步的说明。除非另有指明,本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
一种或多种实施例提供一种基于双向融合网络的显著性物体检测方法,输入图片通过前馈子神经网络获得不同尺度、不同层级的特征;前向融合子神经网络从底层到顶层逐渐融合前馈子神经网络得到的不同层级的特征,得到同时包含局部细节和全局语义信息的种子特征;反向融合子神经网络从种子特征开始自顶向下逐渐融合前馈子神经网络得到的不同层级的特征。
请参阅附图1,该基于双向融合网络的显著性物体检测方法包括以下步骤:
S101,采用前馈子神经网络提取输入图片的多尺度多层级特征图。
具体的,所述步骤101中,利用输入图片构建训练集,将训练集作为前馈子神经网络的输入,通过前馈子神经网络对训练集中输入图片进行卷积和下采样处理,不同深度的卷积层得到多个不同尺度、不同层级的图像特征图,组成特征金字塔。
所述步骤101中,所述前馈子神经网络采用深度卷积神经网络,深度卷积神经网络的较深层编码了用于分类的高级的语义信息,而浅层则编码了丰富的局部细节信息,例如边缘和纹理信息。这些多尺度多层级的特征图都是显著性物体检测重要的特征图,双向融合网络就是为了充分融合这些特征图。
在本实施例中,所述多个不同尺度、不同层级的图像特征图分别为
Figure BDA0001963540540000071
其中,低层的特征图是高分辨率的特征图,包括局部空间细节信息;高层的特征图是低分辨率的特征图,包括图片全局的语义特征。
在本实施例中,所述特征金字塔表示为:
Figure BDA0001963540540000072
其中,X表示输入图像,W为前馈网络的权重,
Figure BDA0001963540540000073
表示不同尺度的特征图。
S102,采用前向特征融合子神经网络从底层到顶层逐渐融合步骤S101中前馈子神经网络得到的不同尺度不同层级的特征图,得到同时包含局部细节和全局语义信息的种子特征图。
由于在目前表现最好的自顶向下的特征融合方式中,浅层的空间细节信息只在融合的最后阶段才会起作用,而高层的特征是低分辨率且粗糙的,甚至会丢失一部分低对比度的显著性区域,或者使得显著性区域内部的小空洞区域消失。由于自顶向下的融合方式在开始融合时,种子特征是高层语义特征,并不包含空间细节信息。因此,本实施例采用前向特征融合子神经网络将浅层的空间细节信息传递到顶层种子特征图中,得到既包含高层语义特征又包含低层空间细节特征的新种子特征图。
在所述步骤102中,得到同时包含局部细节和全局语义信息的种子特征图为:
Figure BDA0001963540540000081
其中,
Figure BDA0001963540540000082
表示前馈子神经网络得到的当前尺度下的特征图,
Figure BDA0001963540540000083
表示前向融合子神经网络中上一阶段融合后的特征图,fpixelshuffle表示采用元素重排方法,将上一阶段融合后的特征图进行下采样,ffuse表示将这两个不同层级的特征使用多个卷积层进行融合。
具体的,所述步骤102中,采用前向融合子神经网络从底层到顶层逐渐融合前馈子神经网络得到的不同层级的特征图,具体采用如下方案实现:
(2-1)前向融合子神经网络中第一卷积层融合前馈子神经网络得到的最底层两个不同层级的特征图
Figure BDA0001963540540000084
Figure BDA0001963540540000085
得到前向融合子神经网络最底层融合后的特定层级特征图Bn
(2-2)采用元素重排方法对前向融合子神经网络中上一层融合后的特定层级特征图Bn进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图Cn,保证信息的不丢失,从而保证不同层级的信息可以有效的融合。
为了降低底层特征的分辨率,本实施例采用下采样的方式。常见的下采样方式包括池化操作,但是常规的池化操作会对特征求局部的平均或者取局部的最大值,这种方式会丢失底层丰富的细节信息。使用池化逐阶段降低分辨率会导致底层的信息会逐渐丢失,空间细节信息并不能有效地传递到高层的种子特征中,因此,本实施例采用元素重排的下采样方法来替代池化操作。
在本实施例中,所述步骤(2-1)中得到的特征图Bn为大分辨率的特征图,采用元素重排方法对特征图Bn进行下采样1/2,得到形状为r2k×H×W的重排特征图Cn。采用元素重排方法能够有效的保证底层的空间细节信息在下采样的过程中不丢失。
(2-3)采用拼接的方式将步骤(2-2)得到的重排后特征图Cn与前馈子神经网络得到的当前阶段的特征图
Figure BDA0001963540540000091
进行融合,得到融合后的特定层级特征图Bn+1
在本实施例中,前馈子神经网络得到的当前阶段的特征图
Figure BDA0001963540540000092
大小为d×H×W,采用直接拼接的方式将相同分辨率的两个特征图Cn与A
Figure BDA0001963540540000093
进行融合,得到融合后的特征图Bn+1
前向融合子神经网络的特定层级特征通道数为kh,前馈子神经网络得到的当前阶段的特征图的特征通道数为ku,对前向融合子神经网络上一阶段融合得到的特征图下采样1/2,通道数增加为4kh,则采用拼接的方式将相同分辨率的重排后的特征图与前馈子神经网络得到的当前阶段的特征图进行融合后,特征通道数为4kh+ku
(2-4)重复步骤(2-2)和(2-3),直至前向融合子神经网络完成从底层到顶层逐渐融前馈子神经网络得到的不同层级的特征图,得到同时包含局部细节和全局语义信息的种子特征图Bk
本实施例在前向融合子神经网络中,为了保证低层特征能够传递到高层,采用元素重排方法来替代传统的池化执行下采样,降低特征图的分辨率,并且元素重排不会丢失细节信息,而池化操作是对局部求均值或者最大值,会丢失局部细节信息,采用元素重排的方法能够保证底层的局部空间细节信息能有效融合到高层语义特征中,得到同时具有局部空间细节信息和高层语义信息的、低分辨率的种子特征,这一特征可以提升反向融合的效果。
S103,采用反向融合子神经网络将步骤102得到的种子特征图自顶层向底层逐层与前馈子神经网络得到的不同层级的特征图进行融合,得到与输入图片相同分辨率的特征图,并对特征图进行多卷积融合,从而产生边缘精细的显著性物体分割图。
显著性物体检测等稠密预测任务同时需要高层语义信息和底层空间细节信息,高层的语义信息是底层的空间细节信息通过卷积神经网络转换得到的,那么在预测每个像素的标签的时候,高层的语义信息也应该自顶向下进一步跟高分辨率的带有细节信息的浅层特征融合,并逐渐增加特征的分辨率,最终得到边缘精细的显著图。在本实施例中,采用反向融合子神经网络自顶向下融合和修正这个既包含高层语义特征又包含低层空间细节特征的新种子特征图,最终得到边缘精细的显著图。
具体的,所述步骤103中,得到与输入图片相同分辨率的特征表达可以表示为:
Figure BDA0001963540540000101
其中,
Figure BDA0001963540540000102
表示前馈子神经网络得到的当前尺度下的特征,
Figure BDA0001963540540000103
表示反向融合子网络中当前阶段的特征图,fpixelshuffle表示将融合后的特征以元素重排的方法进行下采样,增大特征分辨率;ffuse表示将这两个不同层级的特征使用多个卷积层进行融合。本实施例通过进一步的反向融合,最终能到定位准确、边缘精细的显著图。
具体的,所述步骤103中,采用反向融合子神经网络将种子特征图自顶层向底层逐层与前馈子神经网络得到的不同层级的特征图进行融合,采用如下方案实现:
(3-1)将步骤102到的新的种子特征图Bk与前馈子神经网络得到的最高层的特征图Ak进行融合,得到新的特征图Dk-1
(3-2)采用元素重排方法对步骤(3-1)得到的新的特征图Dk-1进行下采样,得到反向融合子神经网络的当前阶段特征图Rk-1
(3-3)将反向融合子神经网络的当前阶段特征图Rk-1与前馈子神经网络得到的当前阶段特征图Ak-1进行融合,得到新的特征图Dk-2
(3-4)因此重复步骤(3-2)和(3-3),直到得到新的特征图D1
(3-5)经过多个卷积层融合,得到边缘精细的显著性物体分割图
Figure BDA0001963540540000111
f是多卷积层融合函数。
假设Rn的大小为C×H×W,而
Figure BDA0001963540540000112
的大小为K×H×W,反向融合子神经网络会使用多个卷积层来融合RN
Figure BDA0001963540540000113
得到新的特征Dn-1,其大小为r2d×H×W,通过元素重排方法,增大分辨率得到反向融合子神经网络的当前阶段特征图Rn-1,大小为d×rH×rW。
本实施例采用反向融合子神经网络进行逐层迭代,最终得到跟输入图片同样大小的特征图,经过多个卷积层得到最终的显著图,这样得到的显著图,边缘精确且定位准确。采用本实施例提出的显著性物体检测方法的可视化图如图2所示,图中,第一行为输入图像,第二行为本发明设计的显著性物体检测效果,第三行为人工标注的显著性物体。
在至少一个实施例中,所述前向融合子神经网络和反向融合子神经网络分别采用可端到端训练的深度卷积神经网络结构。
本实施例提出的显著性物体检测方法,采用双向融合网络结构利用前向融合子神经网络和反向融合子神经网络来逐渐融合不同尺度的特征;在前向融合子神经网络中,采用元素重排的下采样方法替代传统的池化操作,使得特征图的分辨率降低,便于与当前阶段的特征图融合;采用一个双向融合网络包括一个前向融合网络和一个反向融合网络来充分得融合不同层级和不同尺度的特征,最终可以获得边缘精确和定位精确的显著图。
一种或多种实施例提供一种基于双向融合网络的显著性物体检测装置,该装置用于实现如上所述的基于双向融合网络的显著性物体检测方法,该装置包括:
前馈子模块,被配置为提取输入图片的多尺度多层级特征图,分别输出到前向融合子模块和反向融合子模块。
前向融合子模块,被配置为采用前向特征融合子神经网络从底层到顶层逐渐融合接收到的不同尺度不同层级的特征图,得到同时包含局部细节和全局语义信息的种子特征图,输出至反向融合子模块;
反向融合子模块,被配置为采用反向融合子神经网络将接收到的种子特征图自顶层向底层逐层与不同层级的特征图进行融合,得到与输入图片相同分辨率的特征图,并对特征图进行多卷积融合,得到边缘精细的显著性物体分割图。
具体的,所述前馈子模块采用深度卷积神经网络提取输入图片的个不同尺度、不同层级的图像特征图,分别输出到前向融合子模块和反向融合子模块;其中,低层级的特征图是高分辨率的特征图,包括局部空间细节信息;高层的特征图是低分辨率的特征图,包括图片全局的语义特征。
具体的,所述前向融合子模块包括多个混合单元,所述混合单元,被配置为降低上一个混合单元输出的特征图Bn的分辨率,二是融合当前尺度的特征图
Figure BDA0001963540540000137
和下采样后的Bn
在本实施例中,所述混合单元具体被配置为:
采用前向融合子神经网络中一卷积层融合前馈子神经网络得到的两个不同层级的特征图
Figure BDA0001963540540000131
Figure BDA0001963540540000132
得到融合后的特定层级特征图Bn
采用元素重排方法对前向融合子神经网络中上一层融合后的特定层级特征图Bn进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图Cn
采用拼接的方式将得到的重排后特征图Cn与前馈子神经网络得到的当前阶段的特征图
Figure BDA0001963540540000133
进行融合,得到融合后的前向融合子神经网络特定层级特征图Bn+1
假设Bn的大小为C×rH×rW,而
Figure BDA0001963540540000134
的大小为K×H×W,混合单元的下采样部分会通过元素重排的方式将张量Bn的大小变为r2C×H×W,记为Cn。混合单元的融合模块会使用多个卷积层来融合Cn
Figure BDA0001963540540000135
得到新的特征Bn+1,Bn+1既包含了全局信息也包含了一定的局部空间细节信息。
具体的,所述反向融合子模块包括多个修正单元,所述修正单元,被配置为降低融合后新的特征图Dn-1的分辨率,并融合当前尺度的特征
Figure BDA0001963540540000136
和Rn
在本实施例中,所述修正单元具体被配置为:
采用元素重排方法对得到的新的特征图Dn-1进行下采样,得到反向融合子神经网络的当前阶段特征图Rk-1
将反向融合子神经网络的当前阶段特征图Rk-1与前馈子神经网络得到的当前阶段特征图进行融合Ak-1进行融合,得到新的特征图Dk-2
假设Rn的大小为C×H×W,而
Figure BDA0001963540540000141
的大小为K×H×W,修正单元的融合模块会使用多个卷积层来融合Rn
Figure BDA0001963540540000142
得到新的特征Dn-1,其大小为r2d×H×W。通过元素重排,增大分辨率得到Rn-1,大小为d×rH×rW。
本实施例提出的显著性物体检测装置,采用前向融合子模块和后向融合子模块结构利用前向融合子神经网络和反向融合子神经网络来逐渐融合不同尺度的特征;在前向融合子模块中,采用元素重排的下采样方法替代传统的池化操作,使得特征图的分辨率降低,便于与当前阶段的特征图融合;采用前向融合子模块和后向融合子模块来充分得融合不同层级和不同尺度的特征,最终可以获得边缘精确和定位精确的显著图。
一种或多种实施例还提供一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行如上所述的基于双向融合网络的显著性物体检测方法。
一种或多种实施例还提供一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令所述指令适于由处理器加载并执行权利要求如上所述的基于双向融合网络的显著性物体检测方法。
工业上的实用性
本公开的基于双向融合网络的显著性物体检测方法和装置能够应用于语义分割、深度估计、阴影检测的用途。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (8)

1.一种基于双向融合网络的显著性物体检测方法,其特征是,该方法包括以下步骤:
提取输入图片的多尺度多层级特征图;
采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图,得到种子特征图;
采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合,得到与输入图片相同分辨率的特征图;
采用反向融合子神经网络的多个卷积层对得到的与输入图片分辨率相同的特征图进行多卷积融合,得到显著性物体分割图;
所述采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图的步骤包括:
采用前向融合子神经网络中第一卷积层融合前馈子神经网络得到的最底层两个不同层级的特征图,得到前向融合子神经网络最底层融合后的特定层级特征图;
采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图;
采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到融合后的特定层级特征图;
重复上述步骤,直至采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的最顶层特征图进行融合,得到同时包含局部细节和全局语义信息的种子特征图。
2.根据权利要求1所述的基于双向融合网络的显著性物体检测方法,其特征是,采用前馈子神经网络对输入图片进行卷积和下采样处理,得到多个不同尺度、不同层级的图像特征图,并分别输出至前向特征融合子神经网络和反向特征融合子神经网络的每一个卷积层上。
3.根据权利要求1所述的基于双向融合网络的显著性物体检测方法,其特征是,所述采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合的步骤包括:
将种子特征图与前馈子神经网络得到的最顶层的特征图进行融合,得到新的特征图;
采用元素重排方法得到的新的特征图进行下采样,得到反向融合子神经网络的当前阶段特征图;
将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到新的特征图;
重复上述步骤,直至将反向融合子神经网络的最底层特征图与前馈子神经网络得到的最底层特征图进行融合,得到与输入图片分辨率相同的特征图。
4.一种基于双向融合网络的显著性物体检测装置,该装置用于实现权利要求1至3中任一项所述的基于双向融合网络的显著性物体检测方法,其特征是,包括:
前馈子模块,被配置为提取输入图片的多尺度多层级特征图,分别输出到前向融合子模块和反向融合子模块;
前向融合子模块,被配置为采用前向特征融合子神经网络从底层到顶层逐渐融合接收到的不同尺度不同层级的特征图,得到种子特征图,输出至反向融合子模块;
反向融合子模块,被配置为采用反向融合子神经网络将接收到的种子特征图自顶层向底层逐层与不同层级的特征图进行融合,得到与输入图片相同分辨率的特征图,并对特征图进行多卷积融合,得到边缘精细的显著性物体分割图。
5.根据权利要求4所述的基于双向融合网络的显著性物体检测装置,其特征是,所述前向融合子模块包括多个混合单元,所述混合单元具有被配置为:
采用前向融合子神经网络中卷积层融合前馈子神经网络得到的两个不同层级的特征图,得到该卷积层融合后的特定层级特征图;
采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图;
采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到融合后的前向融合子神经网络特定层级特征图。
6.根据权利要求4所述的基于双向融合网络的显著性物体检测装置,其特征是,述反向融合子模块包括多个修正单元,所述修正单元具体被配置为:
采用元素重排方法对得到的新的特征图进行下采样,得到反向融合子神经网络的当前阶段特征图;
将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到与输入图片相同分辨率的新的特征图;
采用反向融合子神经网络的多个卷积层对得到的与输入图片相同分辨率的特征图进行多卷积融合,得到显著性物体分割图。
7.一种计算机可读存储介质,其中存储有多条指令,其特征是,所述指令适于由终端设备的处理器加载并执行权利要求1至3中任一项所述的基于双向融合网络的显著性物体检测方法。
8.一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征是,所述指令适于由处理器加载并执行权利要求1至3中任一项所述的基于双向融合网络的显著性物体检测方法。
CN201910092045.9A 2019-01-30 2019-01-30 一种基于双向融合网络的显著性物体检测方法及装置 Active CN109816100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910092045.9A CN109816100B (zh) 2019-01-30 2019-01-30 一种基于双向融合网络的显著性物体检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910092045.9A CN109816100B (zh) 2019-01-30 2019-01-30 一种基于双向融合网络的显著性物体检测方法及装置

Publications (2)

Publication Number Publication Date
CN109816100A CN109816100A (zh) 2019-05-28
CN109816100B true CN109816100B (zh) 2020-09-01

Family

ID=66605978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910092045.9A Active CN109816100B (zh) 2019-01-30 2019-01-30 一种基于双向融合网络的显著性物体检测方法及装置

Country Status (1)

Country Link
CN (1) CN109816100B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027493B (zh) * 2019-12-13 2022-05-20 电子科技大学 一种基于深度学习多网络软融合的行人检测方法
CN112132156B (zh) * 2020-08-18 2023-08-22 山东大学 多深度特征融合的图像显著性目标检测方法及系统
CN112164034B (zh) * 2020-09-15 2023-04-28 郑州金惠计算机系统工程有限公司 一种工件表面缺陷检测方法、装置、电子设备及存储介质
US20230259746A1 (en) * 2020-09-28 2023-08-17 Cambricon Technologies Corporation Limited Device for forward fusion of neural network, board, method, and readable storage medium
CN112634289B (zh) * 2020-12-28 2022-05-27 华中科技大学 一种基于非对称空洞卷积的快速可行域分割方法
CN113298154B (zh) * 2021-05-27 2022-11-11 安徽大学 一种rgb-d图像显著目标检测方法
CN117468083B (zh) * 2023-12-27 2024-05-28 浙江晶盛机电股份有限公司 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190752A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 基于深度学习的全局特征和局部特征的图像语义分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7940994B2 (en) * 2005-11-15 2011-05-10 Teledyne Licensing, Llc Multi-scale image fusion
CN104050685B (zh) * 2014-06-10 2017-05-31 西安理工大学 基于粒子滤波视觉注意力模型的运动目标检测方法
CN108805889B (zh) * 2018-05-07 2021-01-08 中国科学院自动化研究所 边缘引导的精细化显著性物体分割方法与系统、设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190752A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 基于深度学习的全局特征和局部特征的图像语义分割方法

Also Published As

Publication number Publication date
CN109816100A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
CN109816100B (zh) 一种基于双向融合网络的显著性物体检测方法及装置
CN110232394B (zh) 一种多尺度图像语义分割方法
CN111311518B (zh) 基于多尺度混合注意力残差网络的图像去噪方法及装置
CN107767384B (zh) 一种基于对抗训练的图像语义分割方法
CN108805889B (zh) 边缘引导的精细化显著性物体分割方法与系统、设备
US11301965B2 (en) Method and image processing device for image super resolution, image enhancement, and convolutional neural network model training
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110837811A (zh) 语义分割网络结构的生成方法、装置、设备及存储介质
CN107564009B (zh) 基于深度卷积神经网络的室外场景多目标分割方法
CN110188802B (zh) 基于多层特征图融合的ssd目标检测算法
CN113870422A (zh) 一种基于金字塔Transformer的点云重建方法、装置、设备及介质
CN112150497B (zh) 基于二值神经网络的局部激活方法与系统
CN111899203B (zh) 基于标注图在无监督训练下的真实图像生成方法及存储介质
US20210319541A1 (en) Model-free physics-based reconstruction of images acquired in scattering media
US20200202514A1 (en) Image analyzing method and electrical device
CN113298097B (zh) 基于卷积神经网络的特征点提取方法、设备及存储介质
CN117058160B (zh) 基于自适应特征融合网络的三维医学图像分割方法及系统
CN116645598A (zh) 一种基于通道注意力特征融合的遥感图像语义分割方法
CN114170438A (zh) 神经网络训练的方法、电子设备及计算机存储介质
CN115311454A (zh) 一种基于残差特征优化和注意力机制的图像分割方法
CN114781499B (zh) 一种构建基于ViT模型的密集预测任务适配器的方法
CN111340059A (zh) 图像特征提取方法、装置、电子设备及存储介质
CN115205527A (zh) 一种基于域适应和超分辨率的遥感图像双向语义分割方法
CN114202648B (zh) 文本图像矫正方法、训练方法、装置、电子设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant