CN109816100B - 一种基于双向融合网络的显著性物体检测方法及装置 - Google Patents
一种基于双向融合网络的显著性物体检测方法及装置 Download PDFInfo
- Publication number
- CN109816100B CN109816100B CN201910092045.9A CN201910092045A CN109816100B CN 109816100 B CN109816100 B CN 109816100B CN 201910092045 A CN201910092045 A CN 201910092045A CN 109816100 B CN109816100 B CN 109816100B
- Authority
- CN
- China
- Prior art keywords
- fusion
- neural network
- sub
- feature map
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 168
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 126
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims description 64
- 230000008707 rearrangement Effects 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 5
- 238000003475 lamination Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双向融合网络的显著性物体检测方法及装置,采用双向融合网络,能够更好地融合不同层级的特征。该方法包括以下步骤:提取输入图片的多尺度多层级特征图;采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图,得到种子特征图;采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合,得到与输入图片相同分辨率的特征图;采用反向融合子神经网络的多个卷积层对得到的与输入图片相同分辨率的特征图进行多卷积融合,得到显著性物体分割图。
Description
技术领域
本公开涉及模式识别、计算机视觉、深度学习领域,特别一种基于双向融合网络的显著性物体检测方法及装置。
背景技术
显著性物体检测任务旨在识别并分割出图片中最吸引人注意的物体。它是计算机视觉领域的一个基础问题,常常作为目标检测、图像编辑和图片分割等视觉任务的预处理过程。随着深度卷积神经网络发展,尤其是全卷积神经网络的发表,显著性物体检测等稠密预测在近几年取得了重要的发展。
一般来说,深度卷积网络能够提取输入图片的不同层级的特征。具体来说,深度卷积网络的顶层编码了用于分类的高级的语义信息。而底层则编码了丰富的局部细节信息,例如边缘和纹理信息。局部细节信息有助于得到精细边缘的分割图,而高层语义信息则提供了显著性物体所在区域。对于显著性物体检测而言,高层语义信息和低层细节信息是同等重要的。如何有效的融合这两种特征成为了显著性物体检测的关键。
显著性物体检测领域目前表现最好的融合方式是自顶向下的融合方式。发明人在研发过程中发现:自顶向下的融合方式不能够区分细长的和低对比度的区域。这是由于高层语义信息是低分辨率的,只包含了显著性物体的大致区域,甚至会丢失一部分低对比度的显著性区域。而低层的细节信息只能在最后几个阶段起作用,并不能有效的利用低层的细节信息。仅仅自顶向下融合这些特征是不完整的。
发明内容
为了克服上述现有技术的不足,本公开提供了一种基于双向融合网络的显著性物体检测方法及装置,采用双向融合网络,能够更好地融合不同层级的特征。
本公开所采用的技术方案是:
一种基于双向融合网络的显著性物体检测方法,该方法包括以下步骤:
提取输入图片的多尺度多层级特征图;
采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图,得到种子特征图;
采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合,得到与输入图片相同分辨率的特征图。
进一步的,用前馈子神经网络对输入图片进行卷积和下采样处理,得到多个不同尺度、不同层级的图像特征图,并分别输出至前向特征融合子神经网络和反向特征融合子神经网络的每一个卷积层上。
进一步的,所述采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图的步骤包括:
采用前向融合子神经网络中第一卷积层融合前馈子神经网络得到的最底层两个不同层级的特征图,得到前向融合子神经网络最底层融合后的特定层级特征图;
采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图;
采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到融合后的特定层级特征图;
重复上述步骤,直至采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的最顶层特征图进行融合,得到同时包含局部细节和全局语义信息的种子特征图。
进一步的,所述采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合的步骤包括:
将种子特征图与前馈子神经网络得到的最顶层的特征图进行融合,得到新的特征图;
采用元素重排方法得到的新的特征图进行下采样,得到反向融合子神经网络的当前阶段特征图;
将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到新的特征图;
重复上述步骤,直至将反向融合子神经网络的最底层特征图与前馈子神经网络得到的最底层特征图进行融合,得到与输入图片分辨率相同的特征图。
进一步的,还包括:
采用反向融合子神经网络的多个卷积层对得到的与输入图片分辨率相同的特征图进行多卷积融合,得到显著性物体分割图。
一种基于双向融合网络的显著性物体检测装置,该装置用于实现如上所述的基于双向融合网络的显著性物体检测方法,该装置包括:
前馈子模块,被配置为提取输入图片的多尺度多层级特征图,分别输出到前向融合子模块和反向融合子模块;
前向融合子模块,被配置为采用前向特征融合子神经网络从底层到顶层逐渐融合接收到的不同尺度不同层级的特征图,得到种子特征图,输出至反向融合子模块;
反向融合子模块,被配置为采用反向融合子神经网络将接收到的种子特征图自顶层向底层逐层与不同层级的特征图进行融合,得到与输入图片相同分辨率的特征图,并对特征图进行多卷积融合,得到边缘精细的显著性物体分割图。
进一步的,所述前馈子模块,具体被配置为:
采用前馈子神经网络对输入图片进行卷积和下采样处理,得到多个不同尺度、不同层级的图像特征图,并分别输出至前向融合子模块和后向融合子模块的每一个卷积层上。
进一步的,所述前向融合子模块包括多个混合单元,所述混合单元具有被配置为:
采用前向融合子神经网络中卷积层融合前馈子神经网络得到的两个不同层级的特征图,得到该卷积层融合后的特定层级特征图;
采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图;
采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到融合后的前向融合子神经网络特定层级特征图。
进一步的,述反向融合子模块包括多个修正单元,所述修正单元具体被配置为:
采用元素重排方法对得到的新的特征图进行下采样,得到反向融合子神经网络的当前阶段特征图;
将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到新的特征图。
进一步的,所述修正单元还配置为:
采用反向融合子神经网络的多个卷积层对得到的与输入图片相同分辨率的特征图进行多卷积融合,得到显著性物体分割图。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行如上所述的基于双向融合网络的显著性物体检测方法。
一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令所述指令适于由处理器加载并执行权利要求如上所述的基于双向融合网络的显著性物体检测方法。
通过上述技术方案,本公开的有益效果是:
(1)本公开采用前向融合子神经网络将前馈子神经网络得到的低层的局部空间细节信息传递到最后一层,使得最后一层的到的种子特征图不仅具有高层语义信息,同时还具有一定的局部细节信息,保证信息的不丢失,保证不同层级的信息可以有效的融合,提升反向融合的效果;
(2)本公开采用反向融合子神经网络将种子特征与前馈子神经网络得到的自顶层向底层的不同层级的特征图进行融合,得到最终的显著性图;
(3)本公开通过双向融合网络和元素重排的下采样方法,能够充分地融合不同层级的特征,能够预测出具有精细边缘的显著性物体分割图;
(4)本公开采用双向的融合网络来更好融合不同层级的特征,获得对图片更好的特征表达;
(5)本公开为了保证低层的局部空间细节信息能传递到高层,采用元素重排的下采样方式来替代常规的池化操作,通过元素重排来改变特征图张量的形状,使得特征的分辨率降低,通道数增加,使得显著性物体的边缘更加精细,显著性物体的定位更加精确。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本申请,并不构成对本公开的不当限定。
图1是根据一种或多种实施方式的基于双向融合网络的显著性物体检测方法流程图;
图2是根据一种或多种实施方式的基于双向融合网络的显著性物体检测方法可视化图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本公开提供进一步的说明。除非另有指明,本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
一种或多种实施例提供一种基于双向融合网络的显著性物体检测方法,输入图片通过前馈子神经网络获得不同尺度、不同层级的特征;前向融合子神经网络从底层到顶层逐渐融合前馈子神经网络得到的不同层级的特征,得到同时包含局部细节和全局语义信息的种子特征;反向融合子神经网络从种子特征开始自顶向下逐渐融合前馈子神经网络得到的不同层级的特征。
请参阅附图1,该基于双向融合网络的显著性物体检测方法包括以下步骤:
S101,采用前馈子神经网络提取输入图片的多尺度多层级特征图。
具体的,所述步骤101中,利用输入图片构建训练集,将训练集作为前馈子神经网络的输入,通过前馈子神经网络对训练集中输入图片进行卷积和下采样处理,不同深度的卷积层得到多个不同尺度、不同层级的图像特征图,组成特征金字塔。
所述步骤101中,所述前馈子神经网络采用深度卷积神经网络,深度卷积神经网络的较深层编码了用于分类的高级的语义信息,而浅层则编码了丰富的局部细节信息,例如边缘和纹理信息。这些多尺度多层级的特征图都是显著性物体检测重要的特征图,双向融合网络就是为了充分融合这些特征图。
在本实施例中,所述特征金字塔表示为:
S102,采用前向特征融合子神经网络从底层到顶层逐渐融合步骤S101中前馈子神经网络得到的不同尺度不同层级的特征图,得到同时包含局部细节和全局语义信息的种子特征图。
由于在目前表现最好的自顶向下的特征融合方式中,浅层的空间细节信息只在融合的最后阶段才会起作用,而高层的特征是低分辨率且粗糙的,甚至会丢失一部分低对比度的显著性区域,或者使得显著性区域内部的小空洞区域消失。由于自顶向下的融合方式在开始融合时,种子特征是高层语义特征,并不包含空间细节信息。因此,本实施例采用前向特征融合子神经网络将浅层的空间细节信息传递到顶层种子特征图中,得到既包含高层语义特征又包含低层空间细节特征的新种子特征图。
在所述步骤102中,得到同时包含局部细节和全局语义信息的种子特征图为:
其中,表示前馈子神经网络得到的当前尺度下的特征图,表示前向融合子神经网络中上一阶段融合后的特征图,fpixelshuffle表示采用元素重排方法,将上一阶段融合后的特征图进行下采样,ffuse表示将这两个不同层级的特征使用多个卷积层进行融合。
具体的,所述步骤102中,采用前向融合子神经网络从底层到顶层逐渐融合前馈子神经网络得到的不同层级的特征图,具体采用如下方案实现:
(2-2)采用元素重排方法对前向融合子神经网络中上一层融合后的特定层级特征图Bn进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图Cn,保证信息的不丢失,从而保证不同层级的信息可以有效的融合。
为了降低底层特征的分辨率,本实施例采用下采样的方式。常见的下采样方式包括池化操作,但是常规的池化操作会对特征求局部的平均或者取局部的最大值,这种方式会丢失底层丰富的细节信息。使用池化逐阶段降低分辨率会导致底层的信息会逐渐丢失,空间细节信息并不能有效地传递到高层的种子特征中,因此,本实施例采用元素重排的下采样方法来替代池化操作。
在本实施例中,所述步骤(2-1)中得到的特征图Bn为大分辨率的特征图,采用元素重排方法对特征图Bn进行下采样1/2,得到形状为r2k×H×W的重排特征图Cn。采用元素重排方法能够有效的保证底层的空间细节信息在下采样的过程中不丢失。
前向融合子神经网络的特定层级特征通道数为kh,前馈子神经网络得到的当前阶段的特征图的特征通道数为ku,对前向融合子神经网络上一阶段融合得到的特征图下采样1/2,通道数增加为4kh,则采用拼接的方式将相同分辨率的重排后的特征图与前馈子神经网络得到的当前阶段的特征图进行融合后,特征通道数为4kh+ku。
(2-4)重复步骤(2-2)和(2-3),直至前向融合子神经网络完成从底层到顶层逐渐融前馈子神经网络得到的不同层级的特征图,得到同时包含局部细节和全局语义信息的种子特征图Bk。
本实施例在前向融合子神经网络中,为了保证低层特征能够传递到高层,采用元素重排方法来替代传统的池化执行下采样,降低特征图的分辨率,并且元素重排不会丢失细节信息,而池化操作是对局部求均值或者最大值,会丢失局部细节信息,采用元素重排的方法能够保证底层的局部空间细节信息能有效融合到高层语义特征中,得到同时具有局部空间细节信息和高层语义信息的、低分辨率的种子特征,这一特征可以提升反向融合的效果。
S103,采用反向融合子神经网络将步骤102得到的种子特征图自顶层向底层逐层与前馈子神经网络得到的不同层级的特征图进行融合,得到与输入图片相同分辨率的特征图,并对特征图进行多卷积融合,从而产生边缘精细的显著性物体分割图。
显著性物体检测等稠密预测任务同时需要高层语义信息和底层空间细节信息,高层的语义信息是底层的空间细节信息通过卷积神经网络转换得到的,那么在预测每个像素的标签的时候,高层的语义信息也应该自顶向下进一步跟高分辨率的带有细节信息的浅层特征融合,并逐渐增加特征的分辨率,最终得到边缘精细的显著图。在本实施例中,采用反向融合子神经网络自顶向下融合和修正这个既包含高层语义特征又包含低层空间细节特征的新种子特征图,最终得到边缘精细的显著图。
具体的,所述步骤103中,得到与输入图片相同分辨率的特征表达可以表示为:
其中,表示前馈子神经网络得到的当前尺度下的特征,表示反向融合子网络中当前阶段的特征图,fpixelshuffle表示将融合后的特征以元素重排的方法进行下采样,增大特征分辨率;ffuse表示将这两个不同层级的特征使用多个卷积层进行融合。本实施例通过进一步的反向融合,最终能到定位准确、边缘精细的显著图。
具体的,所述步骤103中,采用反向融合子神经网络将种子特征图自顶层向底层逐层与前馈子神经网络得到的不同层级的特征图进行融合,采用如下方案实现:
(3-1)将步骤102到的新的种子特征图Bk与前馈子神经网络得到的最高层的特征图Ak进行融合,得到新的特征图Dk-1;
(3-2)采用元素重排方法对步骤(3-1)得到的新的特征图Dk-1进行下采样,得到反向融合子神经网络的当前阶段特征图Rk-1;
(3-3)将反向融合子神经网络的当前阶段特征图Rk-1与前馈子神经网络得到的当前阶段特征图Ak-1进行融合,得到新的特征图Dk-2;
(3-4)因此重复步骤(3-2)和(3-3),直到得到新的特征图D1;
假设Rn的大小为C×H×W,而的大小为K×H×W,反向融合子神经网络会使用多个卷积层来融合RN和得到新的特征Dn-1,其大小为r2d×H×W,通过元素重排方法,增大分辨率得到反向融合子神经网络的当前阶段特征图Rn-1,大小为d×rH×rW。
本实施例采用反向融合子神经网络进行逐层迭代,最终得到跟输入图片同样大小的特征图,经过多个卷积层得到最终的显著图,这样得到的显著图,边缘精确且定位准确。采用本实施例提出的显著性物体检测方法的可视化图如图2所示,图中,第一行为输入图像,第二行为本发明设计的显著性物体检测效果,第三行为人工标注的显著性物体。
在至少一个实施例中,所述前向融合子神经网络和反向融合子神经网络分别采用可端到端训练的深度卷积神经网络结构。
本实施例提出的显著性物体检测方法,采用双向融合网络结构利用前向融合子神经网络和反向融合子神经网络来逐渐融合不同尺度的特征;在前向融合子神经网络中,采用元素重排的下采样方法替代传统的池化操作,使得特征图的分辨率降低,便于与当前阶段的特征图融合;采用一个双向融合网络包括一个前向融合网络和一个反向融合网络来充分得融合不同层级和不同尺度的特征,最终可以获得边缘精确和定位精确的显著图。
一种或多种实施例提供一种基于双向融合网络的显著性物体检测装置,该装置用于实现如上所述的基于双向融合网络的显著性物体检测方法,该装置包括:
前馈子模块,被配置为提取输入图片的多尺度多层级特征图,分别输出到前向融合子模块和反向融合子模块。
前向融合子模块,被配置为采用前向特征融合子神经网络从底层到顶层逐渐融合接收到的不同尺度不同层级的特征图,得到同时包含局部细节和全局语义信息的种子特征图,输出至反向融合子模块;
反向融合子模块,被配置为采用反向融合子神经网络将接收到的种子特征图自顶层向底层逐层与不同层级的特征图进行融合,得到与输入图片相同分辨率的特征图,并对特征图进行多卷积融合,得到边缘精细的显著性物体分割图。
具体的,所述前馈子模块采用深度卷积神经网络提取输入图片的个不同尺度、不同层级的图像特征图,分别输出到前向融合子模块和反向融合子模块;其中,低层级的特征图是高分辨率的特征图,包括局部空间细节信息;高层的特征图是低分辨率的特征图,包括图片全局的语义特征。
在本实施例中,所述混合单元具体被配置为:
采用元素重排方法对前向融合子神经网络中上一层融合后的特定层级特征图Bn进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图Cn;
假设Bn的大小为C×rH×rW,而的大小为K×H×W,混合单元的下采样部分会通过元素重排的方式将张量Bn的大小变为r2C×H×W,记为Cn。混合单元的融合模块会使用多个卷积层来融合Cn和得到新的特征Bn+1,Bn+1既包含了全局信息也包含了一定的局部空间细节信息。
在本实施例中,所述修正单元具体被配置为:
采用元素重排方法对得到的新的特征图Dn-1进行下采样,得到反向融合子神经网络的当前阶段特征图Rk-1;
将反向融合子神经网络的当前阶段特征图Rk-1与前馈子神经网络得到的当前阶段特征图进行融合Ak-1进行融合,得到新的特征图Dk-2。
假设Rn的大小为C×H×W,而的大小为K×H×W,修正单元的融合模块会使用多个卷积层来融合Rn和得到新的特征Dn-1,其大小为r2d×H×W。通过元素重排,增大分辨率得到Rn-1,大小为d×rH×rW。
本实施例提出的显著性物体检测装置,采用前向融合子模块和后向融合子模块结构利用前向融合子神经网络和反向融合子神经网络来逐渐融合不同尺度的特征;在前向融合子模块中,采用元素重排的下采样方法替代传统的池化操作,使得特征图的分辨率降低,便于与当前阶段的特征图融合;采用前向融合子模块和后向融合子模块来充分得融合不同层级和不同尺度的特征,最终可以获得边缘精确和定位精确的显著图。
一种或多种实施例还提供一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行如上所述的基于双向融合网络的显著性物体检测方法。
一种或多种实施例还提供一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令所述指令适于由处理器加载并执行权利要求如上所述的基于双向融合网络的显著性物体检测方法。
工业上的实用性
本公开的基于双向融合网络的显著性物体检测方法和装置能够应用于语义分割、深度估计、阴影检测的用途。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (8)
1.一种基于双向融合网络的显著性物体检测方法,其特征是,该方法包括以下步骤:
提取输入图片的多尺度多层级特征图;
采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图,得到种子特征图;
采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合,得到与输入图片相同分辨率的特征图;
采用反向融合子神经网络的多个卷积层对得到的与输入图片分辨率相同的特征图进行多卷积融合,得到显著性物体分割图;
所述采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图的步骤包括:
采用前向融合子神经网络中第一卷积层融合前馈子神经网络得到的最底层两个不同层级的特征图,得到前向融合子神经网络最底层融合后的特定层级特征图;
采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图;
采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到融合后的特定层级特征图;
重复上述步骤,直至采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的最顶层特征图进行融合,得到同时包含局部细节和全局语义信息的种子特征图。
2.根据权利要求1所述的基于双向融合网络的显著性物体检测方法,其特征是,采用前馈子神经网络对输入图片进行卷积和下采样处理,得到多个不同尺度、不同层级的图像特征图,并分别输出至前向特征融合子神经网络和反向特征融合子神经网络的每一个卷积层上。
3.根据权利要求1所述的基于双向融合网络的显著性物体检测方法,其特征是,所述采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合的步骤包括:
将种子特征图与前馈子神经网络得到的最顶层的特征图进行融合,得到新的特征图;
采用元素重排方法得到的新的特征图进行下采样,得到反向融合子神经网络的当前阶段特征图;
将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到新的特征图;
重复上述步骤,直至将反向融合子神经网络的最底层特征图与前馈子神经网络得到的最底层特征图进行融合,得到与输入图片分辨率相同的特征图。
4.一种基于双向融合网络的显著性物体检测装置,该装置用于实现权利要求1至3中任一项所述的基于双向融合网络的显著性物体检测方法,其特征是,包括:
前馈子模块,被配置为提取输入图片的多尺度多层级特征图,分别输出到前向融合子模块和反向融合子模块;
前向融合子模块,被配置为采用前向特征融合子神经网络从底层到顶层逐渐融合接收到的不同尺度不同层级的特征图,得到种子特征图,输出至反向融合子模块;
反向融合子模块,被配置为采用反向融合子神经网络将接收到的种子特征图自顶层向底层逐层与不同层级的特征图进行融合,得到与输入图片相同分辨率的特征图,并对特征图进行多卷积融合,得到边缘精细的显著性物体分割图。
5.根据权利要求4所述的基于双向融合网络的显著性物体检测装置,其特征是,所述前向融合子模块包括多个混合单元,所述混合单元具有被配置为:
采用前向融合子神经网络中卷积层融合前馈子神经网络得到的两个不同层级的特征图,得到该卷积层融合后的特定层级特征图;
采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样,得到与当前阶段特征图分辨率相同的重排后特征图;
采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到融合后的前向融合子神经网络特定层级特征图。
6.根据权利要求4所述的基于双向融合网络的显著性物体检测装置,其特征是,述反向融合子模块包括多个修正单元,所述修正单元具体被配置为:
采用元素重排方法对得到的新的特征图进行下采样,得到反向融合子神经网络的当前阶段特征图;
将反向融合子神经网络的当前阶段特征图与前馈子神经网络得到的当前阶段特征图进行融合,得到与输入图片相同分辨率的新的特征图;
采用反向融合子神经网络的多个卷积层对得到的与输入图片相同分辨率的特征图进行多卷积融合,得到显著性物体分割图。
7.一种计算机可读存储介质,其中存储有多条指令,其特征是,所述指令适于由终端设备的处理器加载并执行权利要求1至3中任一项所述的基于双向融合网络的显著性物体检测方法。
8.一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征是,所述指令适于由处理器加载并执行权利要求1至3中任一项所述的基于双向融合网络的显著性物体检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910092045.9A CN109816100B (zh) | 2019-01-30 | 2019-01-30 | 一种基于双向融合网络的显著性物体检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910092045.9A CN109816100B (zh) | 2019-01-30 | 2019-01-30 | 一种基于双向融合网络的显著性物体检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109816100A CN109816100A (zh) | 2019-05-28 |
CN109816100B true CN109816100B (zh) | 2020-09-01 |
Family
ID=66605978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910092045.9A Active CN109816100B (zh) | 2019-01-30 | 2019-01-30 | 一种基于双向融合网络的显著性物体检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109816100B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027493B (zh) * | 2019-12-13 | 2022-05-20 | 电子科技大学 | 一种基于深度学习多网络软融合的行人检测方法 |
CN112132156B (zh) * | 2020-08-18 | 2023-08-22 | 山东大学 | 多深度特征融合的图像显著性目标检测方法及系统 |
CN112164034B (zh) * | 2020-09-15 | 2023-04-28 | 郑州金惠计算机系统工程有限公司 | 一种工件表面缺陷检测方法、装置、电子设备及存储介质 |
US20230259746A1 (en) * | 2020-09-28 | 2023-08-17 | Cambricon Technologies Corporation Limited | Device for forward fusion of neural network, board, method, and readable storage medium |
CN112634289B (zh) * | 2020-12-28 | 2022-05-27 | 华中科技大学 | 一种基于非对称空洞卷积的快速可行域分割方法 |
CN113298154B (zh) * | 2021-05-27 | 2022-11-11 | 安徽大学 | 一种rgb-d图像显著目标检测方法 |
CN117468083B (zh) * | 2023-12-27 | 2024-05-28 | 浙江晶盛机电股份有限公司 | 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109190752A (zh) * | 2018-07-27 | 2019-01-11 | 国家新闻出版广电总局广播科学研究院 | 基于深度学习的全局特征和局部特征的图像语义分割方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7940994B2 (en) * | 2005-11-15 | 2011-05-10 | Teledyne Licensing, Llc | Multi-scale image fusion |
CN104050685B (zh) * | 2014-06-10 | 2017-05-31 | 西安理工大学 | 基于粒子滤波视觉注意力模型的运动目标检测方法 |
CN108805889B (zh) * | 2018-05-07 | 2021-01-08 | 中国科学院自动化研究所 | 边缘引导的精细化显著性物体分割方法与系统、设备 |
-
2019
- 2019-01-30 CN CN201910092045.9A patent/CN109816100B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109190752A (zh) * | 2018-07-27 | 2019-01-11 | 国家新闻出版广电总局广播科学研究院 | 基于深度学习的全局特征和局部特征的图像语义分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109816100A (zh) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816100B (zh) | 一种基于双向融合网络的显著性物体检测方法及装置 | |
CN110232394B (zh) | 一种多尺度图像语义分割方法 | |
CN111311518B (zh) | 基于多尺度混合注意力残差网络的图像去噪方法及装置 | |
CN107767384B (zh) | 一种基于对抗训练的图像语义分割方法 | |
CN108805889B (zh) | 边缘引导的精细化显著性物体分割方法与系统、设备 | |
US11301965B2 (en) | Method and image processing device for image super resolution, image enhancement, and convolutional neural network model training | |
CN113139543B (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
CN111583097A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110837811A (zh) | 语义分割网络结构的生成方法、装置、设备及存储介质 | |
CN107564009B (zh) | 基于深度卷积神经网络的室外场景多目标分割方法 | |
CN110188802B (zh) | 基于多层特征图融合的ssd目标检测算法 | |
CN113870422A (zh) | 一种基于金字塔Transformer的点云重建方法、装置、设备及介质 | |
CN112150497B (zh) | 基于二值神经网络的局部激活方法与系统 | |
CN111899203B (zh) | 基于标注图在无监督训练下的真实图像生成方法及存储介质 | |
US20210319541A1 (en) | Model-free physics-based reconstruction of images acquired in scattering media | |
US20200202514A1 (en) | Image analyzing method and electrical device | |
CN113298097B (zh) | 基于卷积神经网络的特征点提取方法、设备及存储介质 | |
CN117058160B (zh) | 基于自适应特征融合网络的三维医学图像分割方法及系统 | |
CN116645598A (zh) | 一种基于通道注意力特征融合的遥感图像语义分割方法 | |
CN114170438A (zh) | 神经网络训练的方法、电子设备及计算机存储介质 | |
CN115311454A (zh) | 一种基于残差特征优化和注意力机制的图像分割方法 | |
CN114781499B (zh) | 一种构建基于ViT模型的密集预测任务适配器的方法 | |
CN111340059A (zh) | 图像特征提取方法、装置、电子设备及存储介质 | |
CN115205527A (zh) | 一种基于域适应和超分辨率的遥感图像双向语义分割方法 | |
CN114202648B (zh) | 文本图像矫正方法、训练方法、装置、电子设备以及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |