CN112507933A - 基于集中式信息交互的显著性目标检测方法及系统 - Google Patents

基于集中式信息交互的显著性目标检测方法及系统 Download PDF

Info

Publication number
CN112507933A
CN112507933A CN202011490199.2A CN202011490199A CN112507933A CN 112507933 A CN112507933 A CN 112507933A CN 202011490199 A CN202011490199 A CN 202011490199A CN 112507933 A CN112507933 A CN 112507933A
Authority
CN
China
Prior art keywords
stage structure
network
layer
image
output end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011490199.2A
Other languages
English (en)
Other versions
CN112507933B (zh
Inventor
程明明
刘姜江
刘志昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202011490199.2A priority Critical patent/CN112507933B/zh
Publication of CN112507933A publication Critical patent/CN112507933A/zh
Application granted granted Critical
Publication of CN112507933B publication Critical patent/CN112507933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于集中式信息交互的显著性目标检测方法及系统,包括:获取待检测图像;将待检测图像,输入训练后的显著性目标检测神经网络,得到待检测图像中的显著性目标。改进了U型结构中自底向上和自顶向下的路径之间的联系,通过集中式信息交互手段使得从自底向上网络中提取的特征在不进行任何插值操作的前提下实现跨尺度的信息交互,这样可以突破现有显著性目标检测方法中跨尺度无信息交互的缺点,同时避免了插值操作带来的负面影响。

Description

基于集中式信息交互的显著性目标检测方法及系统
技术领域
本申请涉及图像处理技术领域,特别是涉及基于集中式信息交互的显著性目标检测方法及系统。
背景技术
本部分的陈述仅仅是提到了与本申请相关的背景技术,并不必然构成现有技术。
近年来随着多媒体技术的蒸蒸日上,以及人们生活和工业界的广泛需求,图像处理技术在实际应用中蓬勃发展。图像处理中的显著性目标检测技术用于检测图像中的显著性目标,将其与背景进行分离。作为图像处理中的基本的低级别任务,并受益于类别不可知的特点,显著性目标检测已广泛应用于各种计算机视觉下游任务,例如弱监督语义分割,视觉跟踪,对内容敏感的图像编辑和机器人导航。显著性目标检测技术已经被广泛应用于各大手机拍照技术和社交媒体中,在我们的生活中发挥着不可忽视的作用。例如,手机拍照通常利用显著性物体检测技术实现照片前景和背景分离,强调人像等前景、虚化背景等。
传统的显著性目标检测方法在很大程度上依赖于手工设计的特征检测器。这些检测器无法利用隐藏在图像和数据集中的丰富的高级语义信息,从而使它们在复杂的场景中失效。随着商用GPU的普及,卷积神经网络(CNN)由于其能够提取高层次语义和低层次纹理特征的能力而迅速发展,目前卷积神经网络已经被广泛应用于计算机视觉、自然语言处理等研究领域。与此同时,基于神经网络的显著性目标检测方法也蓬勃发展。在显著性目标检测技术的神经网络架构中,U型结构是其中的一种代表性架构。
U型结构最早被提出应用于医疗影像中的病灶自动分割任务,由于其强大的特征提取能力以及简单而富有美感的对称结构,人们在如语义分割与目标检测等各个计算机视觉任务中也开始关注U型结构。目前,在计算机视觉各个任务表现最佳的模型中都可以见到U型结构的身影。典型的U形结构由一个自底向上的路径,一个自顶向下的路径以及它们之间的几个连接组成。旨在推进U形结构的显著性目标检测方法可以分为三类:集中于提高自底向上路径的特征提取能力、增强自顶向下路径的特征聚集能力以及前两者的结合。
然而,已有的方法全部忽略了U型结构中自底向上和自顶向下的路径之间的联系。这些方法通常直接连接U型结构中相应的阶段,保留其初始特征。所以我们研究重新设计自底向上和自顶向下的路径之间而不是路径本身的联系来增强提取特征的表示能力。而实现此目标最直接的方法是直接融合从U型结构自底向上路径中提取的多尺度特征。但是,跨尺度特征融合的必备步骤是空间插值操作。中间特征图通过空间插值操作在连续先进行上采样、再进行下采样过程后会与原始特征图产生较大偏差,反之亦然。另外当下采样率增加时,由于缺少更多的空间位置信息,上述现象会进一步恶化。
发明内容
为了解决现有技术的不足,本申请提供了基于集中式信息交互的显著性目标检测方法及系统;针对图像显著性目标检测任务中,设计U型结构自底向上和自顶向下的路径之间而不是路径本身的联系来增强提取特征的表示能力。本发明的目的是提出一种基于新型的深度学习集中式信息交互技术,增强网络提取特征的表示能力,并且不需要空间插值操作,保留每个输入特征图的空间尺寸,在避免了由特征的空间插值引起的负面影响的同时,实现了跨尺度的信息交互。
第一方面,本申请提供了基于集中式信息交互的显著性目标检测方法;
基于集中式信息交互的显著性目标检测方法,包括:
获取待检测图像;
将待检测图像,输入训练后的显著性目标检测神经网络,得到待检测图像中的显著性目标。
第二方面,本申请提供了基于集中式信息交互的显著性目标检测系统;
基于集中式信息交互的显著性目标检测系统,包括:
获取模块,其被配置为:获取待检测图像;
显著性目标检测模块,其被配置为:将待检测图像,输入训练后的显著性目标检测神经网络,得到待检测图像中的显著性目标。
第三方面,本申请还提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述第一方面所述的方法。
第四方面,本申请还提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成第一方面所述的方法。
第五方面,本申请还提供了一种计算机程序(产品),包括计算机程序,所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。
与现有技术相比,本申请的有益效果是:
基于新型的深度学习集中式信息交互技术,有自底向上网络、相对全局模块、自顶向下网络构成。其中相对全局模块的输入选择对自底向上网络输出的每个特征及其相继特征进行两两处理。相对全局模块包含两个并行分支,第二分支用于提取全局信息用于校准第一分支保留的局部特征。本发明改进了U型结构中自底向上和自顶向下的路径之间的联系来增强提取特征的表示能力,并且不需要空间插值操作,保留每个输入特征图的空间尺寸,在避免了由特征的空间插值引起的负面影响的同时,实现了跨尺度的信息交互,极大地提高了显著性目标检测的效果。
改进了U型结构中自底向上和自顶向下的路径之间的联系,通过集中式信息交互手段使得从自底向上网络中提取的特征在不进行任何插值操作的前提下实现跨尺度的信息交互,这样可以突破现有显著性目标检测方法中跨尺度无信息交互的缺点,同时避免了插值操作带来的负面影响。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1为一种新的基于深度学习集中式信息交互技术的显著性目标检测方法模型示意图。
图2为一种新的基于深度学习集中式信息交互技术的显著性目标检测方法相对全局模块结构图。
图3为一种新的基于深度学习集中式信息交互技术的显著性目标检测方法自顶向下网络单一阶段结构图;
图4为一种新的基于深度学习集中式信息交互技术的显著性目标检测方法基础块的内部结构示意图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了基于集中式信息交互的显著性目标检测方法;
基于集中式信息交互的显著性目标检测方法,包括:
S101:获取待检测图像;
S102:将待检测图像,输入训练后的显著性目标检测神经网络,得到待检测图像中的显著性目标。
作为一个或多个实施例,如图1所示,所述显著性目标检测网络,网络结构包括:
依次连接的自底向上网络、相对全局模块和自顶向下网络。
进一步地,自底向上网络,包括:依次连接的第一阶段结构、第二阶段结构、第三阶段结构、第四阶段结构、第五阶段结构和第一最大池化层;
所述第一阶段结构为RestNet18模型的最大池化层之前的网络结构,不包含最大池化层;
所述第二阶段结构为两个彼此连接的第二最大池化层、第一基础块和第二基础块;
所述第三阶段结构为两个彼此连接的第三基础块和第四基础块;
所述第四阶段结构为两个彼此连接的第五基础块和第六基础块;
所述第五阶段结构为两个彼此连接的第七基础块和第八基础块;
其中,第一基础块与第一阶段结构连接,所述第二基础块与第三基础块连接,所述第四基础块与第五基础块连接,所述第六基础块与第七基础块连接,所述第八基础块与第一最大池化层连接;
其中,第一阶段结构的输出端、第二阶段结构的输出端、第三阶段结构的输出端、第四阶段结构的输出端和第五阶段结构的输出端均与相对全局模块的输入端连接;
其中,第一基础块、第二基础块、第三基础块、第四基础块、第五基础块、第六基础块、第七基础块和第八基础块的内部结构是一样的;
如图4所示,所述第一基础块的内部结构,具体包括:
相互连接的第A1卷积层和第A2卷积层,其中,第A1卷积层的输出端与第A2卷积层的输入端连接,且,所述第A1卷积层的输入端与第A2卷积层的输出端连接。其中,A1和A2中的字母A只是一种编号形式,没有特殊的含义,其目的是为了与后续的卷积层的编号区别开来。
进一步地,如图2所示,所述相对全局模块,包括:
并列的第一分支和第二分支;
所述第一分支,包括依次连接的第一卷积层和第二卷积层;
所述第二分支,包括依次连接的第三卷积层、第四卷积层、全局最大池化层和Sigmoid函数层;
所述第一卷积层的输入端、第二卷积层的输出端和Sigmoid函数层的输出端均与乘积单元的输入端连接;
乘积单元的输出端与第五卷积层的输入端连接,第五卷积层的输出端与第六卷积层的输入端连接,乘积单元的输出端和第六卷积层的输出端的数据合并后从相对全局模块的输出端输出。
所述相对全局模块的第一卷积层的输入端分别均与第一阶段结构、第二阶段结构、第三阶段结构、第四阶段结构和第五阶段结构的输出端连接;
所述相对全局模块的第三卷积层的输入端分别均与第一阶段结构、第二阶段结构、第三阶段结构、第四阶段结构和第五阶段结构的输出端连接。
进一步地,所述自顶向下网络,包括:依次连接的第A阶段结构、第B阶段结构、第C阶段结构、第D阶段结构和第E阶段结构;
所述相对全局模块的输出端分别与第A阶段结构、第B阶段结构、第C阶段结构、第D阶段结构和第E阶段结构的输入端连接;
所述第A阶段结构、第B阶段结构、第C阶段结构、第D阶段结构和第E阶段结构的内部结构是一样的;
如图3所示,所述第A阶段结构的内部结构包括:依次连接的第七卷积层、上采样层、第八卷积层、求和单元和第九卷积层;其中第七卷积层的输入端作为第A阶段的输入端;第九卷积层的输出端作为第A阶段结构的输出端;求和单元的输入端除了与第八卷积层的输出端连接,还与相对全局模块的输出端连接。
作为一个或多个实施例,所述显著性目标检测网络,训练步骤包括:
构建训练集,所述训练集为已知显著性目标的图像;
构建显著性目标检测网络;
将训练集输入到构建的显著性目标检测网络中,对显著性目标检测网络进行训练,当显著性目标检测网络的损失函数达到最小值时,停止训练,得到训练好的显著性目标检测网络。
作为一个或多个实施例,所述显著性目标检测网络,工作原理包括:
自底向上网络对待检测图像进行特征提取,每个阶段结构负责提取一个图像特征,最后一个阶段结构连接的最大池化层也提取出一个图像特征,共得到六个图像特征;
将每个图像特征均输入到相对全局模块,相对全局模块对每个特征及其相邻特征进行处理,得到六个中间特征;
将六个中间特征均对应输入到自顶向下网络每一层中进行处理,自顶向下网络对六个中间特征进行两两融合,得到最终显著性目标。
作为一个或多个实施例,所述显著性目标检测网络,具体工作步骤包括:
自底向上网络对待检测图像进行特征提取,第一阶段结构提取出第一图像特征f1、第二阶段结构提取出第二图像特征f2、第三阶段结构提取出第三图像特征f3、第四阶段结构提取出第四图像特征f4、第五阶段结构提取出第五图像特征f5、最大池化层提取出第六图像特征f6;
相对全局模块的第一分支对第一图像特征f1进行处理,同时相对全局模块的第二分支对第二图像特征f2进行处理,相对全局模块的输出端输出特征G(f1,f2);
相对全局模块的第一分支对第二图像特征f2进行处理,同时相对全局模块的第二分支对第三图像特征f3进行处理,相对全局模块的输出端输出特征G(f2,f3);
相对全局模块的第一分支对第三图像特征f3进行处理,同时相对全局模块的第二分支对第四图像特征f4进行处理,相对全局模块的输出端输出特征G(f3,f4);
相对全局模块的第一分支对第四图像特征f4进行处理,同时相对全局模块的第二分支对第五图像特征f5进行处理,相对全局模块的输出端输出特征G(f4,f5);
相对全局模块的第一分支对第五图像特征f5进行处理,同时相对全局模块的第二分支对第六图像特征f6进行处理,相对全局模块的输出端输出特征G(f5,f6);
自顶向下网络的第A阶段的输入端输入特征G(f1,f2),第A阶段的第七卷积层对特征G(f1,f2)进行第一次卷积处理,第A阶段的上采样层对卷积处理结果进行上采样处理,第A阶段的第八卷积层对采样处理结果进行第二次卷积处理;第A阶段的求和单元将特征G(f1,f2)与二次卷积处理结果进行求和,第九卷积层对求和结果进行第三次卷积处理,第三次卷积处理得到的值输入到第B阶段的输入端;
自顶向下网络的第B阶段的输入端输入第A阶段的输出值;第B阶段采用同样的方式对第A阶段的输出值进行第一次卷积处理、上采样处理、第二次卷积处理,将第二次卷积处理的结果和特征G(f2,f3)输入到第B阶段的求和单元中进行求和处理,最后第B阶段对求和单元的求和结果进行第三次卷积处理,并将第三次卷积层处理的结果输入到第C阶段;
自顶向下网络的第C阶段的输入端输入第B阶段的输出值;第C阶段采用同样的方式对第B阶段的输出值进行第一次卷积处理、上采样处理、第二次卷积处理,将第二次卷积处理的结果和特征G(f3,f4)输入到第B阶段的求和单元中进行求和处理,最后第B阶段对求和单元的求和结果进行第三次卷积处理,并将第三次卷积层处理的结果输入到第D阶段;
自顶向下网络的第D阶段的输入端输入第C阶段的输出值;第D阶段采用同样的方式对第C阶段的输出值进行第一次卷积处理、上采样处理、第二次卷积处理,将第二次卷积处理的结果和特征G(f4,f5)输入到第D阶段的求和单元中进行求和处理,最后第D阶段对求和单元的求和结果进行第三次卷积处理,并将第三次卷积层处理的结果输入到第E阶段;
自顶向下网络的第E阶段的输入端输入第D阶段的输出值;第E阶段采用同样的方式对第D阶段的输出值进行第一次卷积处理、上采样处理、第二次卷积处理,将第二次卷积处理的结果和特征G(f5,f6)输入到第E阶段的求和单元中进行求和处理,最后第E阶段对求和单元的求和结果进行第三次卷积处理,并将第三次卷积层处理的结果作为最终结果输出。
可选的,选择已有的深度学习模型作为自底向上网络,包括:
使用预训练网络来对输入图像提取特征f1、f2、f3、f4、f5、f6;
可选的,利用相对全局模块代替传统U型网络中的直连结构提取特征,并构建自顶向下网络,包括:
输入从自底向上网络中提取的特征f1-f6到相对全局模块G中;
相对全局模块G对每个特征及其相继特征进行处理,得到处理后的特征G(f1,f2)、G(f2,f3)、G(f3,f4)、G(f4,f5)、G(f5,f6);
利用相对全局模块处理后的特征G(f1,f2)、G(f2,f3)、G(f3,f4)、G(f4,f5)、G(f5,f6)经过两两融合构建自顶向下网络;
将预测图像与输入图像计算损失,回传梯度,更新参数。
相对全局模块的输入选择对自底向上网络输出的每个特征及其相继特征进行两两处理。
相对全局模块包含两个并行分支:第一分支和第二分支,分别负责局部信息保留和相对全局信息压缩。
在两个分支中,首先通过第一分支的两个3×3卷积层的序列来处理信息。然后在第二分支的卷积层之后应用全局最大池化层,以压缩相对的全局信息。之后,第二分支的全局信息经过Sigmoid函数后与第一分支结果相乘用于校准第一分支保留的局部特征。最后经过具有两个3×3卷积层的另一个序列得到最终的输出结果。
本申请改进了U型结构中自底向上和自顶向下的路径之间的联系来增强提取特征的表示能力,并且不需要空间插值操作,保留每个输入特征图的空间尺寸,在避免了由特征的空间插值引起的负面影响的同时,实现了跨尺度的信息交互。
自底向上网络,选择在ImageNet数据集已经预训练好的深度神经网络作为基础网络,这里可以采用经典的VGG16、ResNet18或ResNet50模型。以ResNet18为例,在最大池化之前的网络层作为第一阶段;其余网络层按照每两个基础块为一个阶段划分,将自底向上网络划分为五个阶段。将图像输入到自底向上网络,从五个阶段提取出f1-f5五个特征。特别的,第六个特征f6由在基础网络最后添加一个最大池化操作进行提取。
相对全局模块的输入选择对自底向上网络输出的每个特征及其相继特征进行两两处理。相对全局模块G结构图如图2所示,其中包含两个并行分支,分别负责局部信息保留和相对全局信息压缩。在其两个分支中,首先通过两个3×3卷积层的序列来处理信息。这些简单的卷积层中可学习的参数为信息交互留出了适度的空间,然后在第二分支的卷积层之后应用全局最大池化层,以压缩相对的全局信息。之后,第二分支的全局信息经过Sigmoid函数后与第一分支结果相乘用于校准第一分支保留的局部特征。最后经过具有两个3×3卷积层的另一个序列得到最终的输出结果。由此我们可以获得G(f1,f2)、G(f2,f3)、G(f3,f4)、G(f4,f5)、G(f5,f6)五个特征。
自顶向下网络,将相对全局模块输出的五个特征输入到自顶向下网络中。自顶向下网络单一阶段结构图,如图3所示,高层特征(向下输入)经过一个3×3卷积层、上采样操作与另一个3×3卷积层,与相继低层特征(向右输入)作对应元素相加操作后,最后经过一个1×1卷积层向下继续传递。自顶向下网络的五个阶段结构相同。最终输出由一个1×1卷积操作输出单通道预测图,利用常用损失函数(比如二分类交叉熵损失,交并比损失等)计算预测图像与标签之间的损失,进行梯度回传,更新网络参数。
实施例二
本实施例提供了基于集中式信息交互的显著性目标检测系统;
基于集中式信息交互的显著性目标检测系统,包括:
获取模块,其被配置为:获取待检测图像;
显著性目标检测模块,其被配置为:将待检测图像,输入训练后的显著性目标检测神经网络,得到待检测图像中的显著性目标。
此处需要说明的是,上述获取模块和显著性目标检测模块对应于实施例一中的步骤S101至S102,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重,某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统,可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的,例如上述模块的划分,仅仅为一种逻辑功能划分,实际实现时,可以有另外的划分方式,例如多个模块可以结合或者可以集成到另外一个系统,或一些特征可以忽略,或不执行。
实施例三
本实施例还提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述实施例一所述的方法。
应理解,本实施例中,处理器可以是中央处理单元CPU,处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC,现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如,存储器还可以存储设备类型的信息。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
本领域普通技术人员可以意识到,结合本实施例描述的各示例的单元及算法步骤,能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
实施例四
本实施例还提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成实施例一所述的方法。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.基于集中式信息交互的显著性目标检测方法,其特征是,包括:
获取待检测图像;
将待检测图像,输入训练后的显著性目标检测神经网络,得到待检测图像中的显著性目标。
2.如权利要求1所述的基于集中式信息交互的显著性目标检测方法,其特征是,所述显著性目标检测网络,网络结构包括:
依次连接的自底向上网络、相对全局模块和自顶向下网络。
3.如权利要求2所述的基于集中式信息交互的显著性目标检测方法,其特征是,自底向上网络,包括:依次连接的第一阶段结构、第二阶段结构、第三阶段结构、第四阶段结构、第五阶段结构和第一最大池化层;
所述第一阶段结构为RestNet18模型的最大池化层之前的网络结构,不包含最大池化层;
所述第二阶段结构为两个彼此连接的第二最大池化层、第一基础块和第二基础块;
所述第三阶段结构为两个彼此连接的第三基础块和第四基础块;
所述第四阶段结构为两个彼此连接的第五基础块和第六基础块;
所述第五阶段结构为两个彼此连接的第七基础块和第八基础块;
其中,第一基础块与第一阶段结构连接,所述第二基础块与第三基础块连接,所述第四基础块与第五基础块连接,所述第六基础块与第七基础块连接,所述第八基础块与第一最大池化层连接;
其中,第一阶段结构的输出端、第二阶段结构的输出端、第三阶段结构的输出端、第四阶段结构的输出端和第五阶段结构的输出端均与相对全局模块的输入端连接。
4.如权利要求2所述的基于集中式信息交互的显著性目标检测方法,其特征是,所述相对全局模块,包括:并列的第一分支和第二分支;
所述第一分支,包括依次连接的第一卷积层和第二卷积层;
所述第二分支,包括依次连接的第三卷积层、第四卷积层、全局最大池化层和Sigmoid函数层;
所述第一卷积层的输入端、第二卷积层的输出端和Sigmoid函数层的输出端均与乘积单元的输入端连接;
乘积单元的输出端与第五卷积层的输入端连接,第五卷积层的输出端与第六卷积层的输入端连接,乘积单元的输出端和第六卷积层的输出端的数据合并后从相对全局模块的输出端输出;
所述相对全局模块的第一卷积层的输入端分别均与第一阶段结构、第二阶段结构、第三阶段结构、第四阶段结构和第五阶段结构的输出端连接;
所述相对全局模块的第三卷积层的输入端分别均与第一阶段结构、第二阶段结构、第三阶段结构、第四阶段结构和第五阶段结构的输出端连接。
5.如权利要求2所述的基于集中式信息交互的显著性目标检测方法,其特征是,所述自顶向下网络,包括:依次连接的第A阶段结构、第B阶段结构、第C阶段结构、第D阶段结构和第E阶段结构;
所述相对全局模块的输出端分别与第A阶段结构、第B阶段结构、第C阶段结构、第D阶段结构和第E阶段结构的输入端连接;
所述第A阶段结构、第B阶段结构、第C阶段结构、第D阶段结构和第E阶段结构的内部结构是一样的;
所述第A阶段结构的内部结构包括:依次连接的第七卷积层、上采样层、第八卷积层、求和单元和第九卷积层;其中第七卷积层的输入端作为第A阶段的输入端;第九卷积层的输出端作为第A阶段结构的输出端;求和单元的输入端除了与第八卷积层的输出端连接,还与相对全局模块的输出端连接。
6.如权利要求2所述的基于集中式信息交互的显著性目标检测方法,其特征是,所述显著性目标检测网络,训练步骤包括:
构建训练集,所述训练集为已知显著性目标的图像;
构建显著性目标检测网络;
将训练集输入到构建的显著性目标检测网络中,对显著性目标检测网络进行训练,当显著性目标检测网络的损失函数达到最小值时,停止训练,得到训练好的显著性目标检测网络。
7.如权利要求2或6所述的基于集中式信息交互的显著性目标检测方法,其特征是,所述显著性目标检测网络,工作原理包括:
自底向上网络对待检测图像进行特征提取,每个阶段结构负责提取一个图像特征,最后一个阶段结构连接的最大池化层也提取出一个图像特征,共得到六个图像特征;
将每个图像特征均输入到相对全局模块,相对全局模块对每个特征及其相邻特征进行处理,得到六个中间特征;
将六个中间特征均对应输入到自顶向下网络每一层中进行处理,自顶向下网络对六个中间特征进行两两融合,得到最终显著性目标。
8.基于集中式信息交互的显著性目标检测系统,其特征是,包括:
获取模块,其被配置为:获取待检测图像;
显著性目标检测模块,其被配置为:将待检测图像,输入训练后的显著性目标检测神经网络,得到待检测图像中的显著性目标。
9.一种电子设备,其特征是,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1-7任一项所述的方法。
CN202011490199.2A 2020-12-16 2020-12-16 基于集中式信息交互的显著性目标检测方法及系统 Active CN112507933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011490199.2A CN112507933B (zh) 2020-12-16 2020-12-16 基于集中式信息交互的显著性目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011490199.2A CN112507933B (zh) 2020-12-16 2020-12-16 基于集中式信息交互的显著性目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN112507933A true CN112507933A (zh) 2021-03-16
CN112507933B CN112507933B (zh) 2022-09-16

Family

ID=74972981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011490199.2A Active CN112507933B (zh) 2020-12-16 2020-12-16 基于集中式信息交互的显著性目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN112507933B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422991A (zh) * 2023-10-07 2024-01-19 中色地科蓝天矿产(北京)有限公司 基于大数据的智能矿山检测系统、方法和可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372162A1 (en) * 2016-06-24 2017-12-28 Ebay Automated saliency map estimation
CN110428428A (zh) * 2019-07-26 2019-11-08 长沙理工大学 一种图像语义分割方法、电子设备和可读存储介质
CN110555434A (zh) * 2019-09-03 2019-12-10 浙江科技学院 一种局部对比和全局指导的立体图像视觉显著性检测方法
CN110929736A (zh) * 2019-11-12 2020-03-27 浙江科技学院 多特征级联rgb-d显著性目标检测方法
CN111027576A (zh) * 2019-12-26 2020-04-17 郑州轻工业大学 基于协同显著性生成式对抗网络的协同显著性检测方法
CN111369522A (zh) * 2020-03-02 2020-07-03 合肥工业大学 基于生成对抗卷积神经网络的光场显著性目标检测方法
CN111539428A (zh) * 2020-05-06 2020-08-14 中国科学院自动化研究所 基于多尺度特征整合和注意力机制的旋转目标检测方法
CN111832592A (zh) * 2019-04-20 2020-10-27 南开大学 Rgbd显著性检测方法以及相关装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372162A1 (en) * 2016-06-24 2017-12-28 Ebay Automated saliency map estimation
CN111832592A (zh) * 2019-04-20 2020-10-27 南开大学 Rgbd显著性检测方法以及相关装置
CN110428428A (zh) * 2019-07-26 2019-11-08 长沙理工大学 一种图像语义分割方法、电子设备和可读存储介质
CN110555434A (zh) * 2019-09-03 2019-12-10 浙江科技学院 一种局部对比和全局指导的立体图像视觉显著性检测方法
CN110929736A (zh) * 2019-11-12 2020-03-27 浙江科技学院 多特征级联rgb-d显著性目标检测方法
CN111027576A (zh) * 2019-12-26 2020-04-17 郑州轻工业大学 基于协同显著性生成式对抗网络的协同显著性检测方法
CN111369522A (zh) * 2020-03-02 2020-07-03 合肥工业大学 基于生成对抗卷积神经网络的光场显著性目标检测方法
CN111539428A (zh) * 2020-05-06 2020-08-14 中国科学院自动化研究所 基于多尺度特征整合和注意力机制的旋转目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
E. PARK ET AL.: "Video Saliency Detection Using Adaptive Feature Combination and Localized Saliency Computation", 《2018 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA ASC)》 *
刘丽英 等: "融合双向注意的全卷积编解码显著区域检测", 《计算机辅助设计与图形学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422991A (zh) * 2023-10-07 2024-01-19 中色地科蓝天矿产(北京)有限公司 基于大数据的智能矿山检测系统、方法和可读存储介质
CN117422991B (zh) * 2023-10-07 2024-06-04 中色地科蓝天矿产(北京)有限公司 基于大数据的智能矿山检测系统、方法和可读存储介质

Also Published As

Publication number Publication date
CN112507933B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN109389078B (zh) 图像分割方法、相应的装置及电子设备
CN108876792B (zh) 语义分割方法、装置和系统及存储介质
CN108664981B (zh) 显著图像提取方法及装置
CN110084274B (zh) 实时图像语义分割方法及系统、可读存储介质和终端
CN112907530B (zh) 基于分组反向注意力的伪装物体检测方法及系统
CN113469074B (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及系统
CN112733919B (zh) 基于空洞卷积和多尺度多分支的图像语义分割方法及系统
CN109766918B (zh) 基于多层次上下文信息融合的显著性物体检测方法
CN117765378B (zh) 多尺度特征融合的复杂环境下违禁物品检测方法和装置
CN112700450A (zh) 一种基于集成学习的图像分割方法及其系统
CN113822287A (zh) 一种图像处理方法、系统、设备以及介质
CN112507933B (zh) 基于集中式信息交互的显著性目标检测方法及系统
CN113744280B (zh) 图像处理方法、装置、设备及介质
CN117893763B (zh) 一种基于ResCo-UNet的荞麦籽粒图像分割方法
CN112101322B (zh) 目标物体检测模型、训练方法、物体检测方法和相关设备
CN114202457A (zh) 低分辨率图像的处理方法、电子设备及计算机程序产品
CN111598841B (zh) 基于正则化稠密连接特征金字塔的实例显著性检测方法
CN112580656A (zh) 一种端到端的文本检测方法、系统、终端及存储介质
CN116524314A (zh) 一种基于无锚框算法的无人机小目标检测方法
CN112488115B (zh) 一种基于two-stream架构的语义分割方法
CN116468889B (zh) 一种基于多分支特征提取的全景分割方法及系统
CN112528900B (zh) 基于极致下采样的图像显著性物体检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant