CN113298748B - 一种基于注意力机制的图像协同显著目标检测模型 - Google Patents

一种基于注意力机制的图像协同显著目标检测模型 Download PDF

Info

Publication number
CN113298748B
CN113298748B CN202010109240.0A CN202010109240A CN113298748B CN 113298748 B CN113298748 B CN 113298748B CN 202010109240 A CN202010109240 A CN 202010109240A CN 113298748 B CN113298748 B CN 113298748B
Authority
CN
China
Prior art keywords
attention
single image
image
channel
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010109240.0A
Other languages
English (en)
Other versions
CN113298748A (zh
Inventor
刘政怡
章伟
汪远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202010109240.0A priority Critical patent/CN113298748B/zh
Publication of CN113298748A publication Critical patent/CN113298748A/zh
Application granted granted Critical
Publication of CN113298748B publication Critical patent/CN113298748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于注意力机制的图像协同显著目标检测模型，其特征在于，首先，提取单幅图像特征；其次，利用单幅图像通道注意力和多幅图像通道协同注意力提取每幅图像的通道特征；再次，利用单幅图像空间注意力和多幅图像空间协同注意力提取每幅图像的空间特征；接着，经过解码器生成协同显著图；最后，所述模型在显著真值图的监督下进行学习训练。所述模型通过通道协同注意力，激活组内图像共同的类别信息，通过空间协同注意力，激活组内图像相似目标的位置。所述模型利用注意力机制挖掘组内图像的协同关系，提高图像协同显著目标检测的效果。

Description

一种基于注意力机制的图像协同显著目标检测模型
技术领域
本发明涉及计算机视觉领域，特别是涉及一种基于注意力机制的图像协同显著目标检测模型。
背景技术
在一组图像中找出共同显著的目标，称之为图像协同显著目标检测。传统的方法主要利用手绘特征，如颜色、对比度和上下文特征等，如2013年Fu等《Cluster-based co-saliency detection》利用聚类方法将重复属性作为附加约束来发现一组图像中的共同显著对象。现有基于深度学习的图像协同显著目标检测方法主要利用卷积神经网络来挖掘协同关系，如2017年Wei等《Group-wise deep co-saliency detection》设计了一个全卷积神经网络来进行图像协同显著目标检测，将组内所有图像特征级联的结果作为协同特征，加入每幅图像的特征中，计算协同显著图。再如2019年Ren等《Co-saliency detection viaintegration of multi-layer convolutional features and inter-imagepropagation》，同样是将组内所有图像的级联特征作为协同属性来学习协同关系，并进一步挖掘了不同尺度下的图像内显著性和图像间显著性的融合及扩散方法。
上述方法中，手绘低级特征依赖于先验知识，它的准确性往往取决于主观判断，所以在面对复杂场景时，很难取得非常好的检测结果，如2013年Fu等的方法；而深度学习的方法利用简单的级联操作实现协同特征提取，不能充分挖掘图像之间的关系和相似特征，如2017年Wei等和2019年Ren等的方法。
因此，亟需设计一种图像协同显著目标检测模型来解决上述问题。
发明内容
本发明所需要解决的技术问题是提供一种基于注意力机制的图像协同显著目标检测模型。注意力机制已经广泛用于单幅图像的显著目标检测中，它可以给图像特征的不同通道或空间位置上赋予不同的权重，以表达图像特征对于图像显著性结果的贡献程度。注意力特征能够更好地表达单幅图像特征，同样可以表达多幅图像的协同特征。本发明引入注意力机制，利用通道协同注意力和空间协同注意力提取一组图像之间的相似特征并挖掘图像之间的协同关系，以提高图像协同显著目标检测的效果。
本发明提供一种基于注意力机制的图像协同显著目标检测模型，其特征在于，该模型包括以下步骤：
S1、提取单幅图像特征；
S2、利用单幅图像通道注意力和多幅图像通道协同注意力提取每幅图像的通道特征；
S3、利用单幅图像空间注意力和多幅图像空间协同注意力提取每幅图像的空间特征；
S4、经过解码器生成协同显著图；
S5、所述模型在显著真值图的监督下进行学习训练。
进一步的，在步骤S1中，提取单幅图像特征具体方法如下：
一组N幅图像
Figure BDA0002389369930000021
输入共享权重的N个ResNet50网络，提取所述N幅图像的特征
Figure BDA0002389369930000022
所述ResNet50网络包括一个卷积块Conv_1和4个残差卷积块Res_i(i＝2，3，4，5)，在ImageNet数据集上预训练。
进一步的，在步骤S2中，利用单幅图像通道注意力和多幅图像通道协同注意力提取每幅图像的通道特征的具体方法如下：
S2.1：计算单幅图像通道注意力权重CAi
对于所述S1步骤得到的单幅图像特征Fi，首先进行基于空间的全局平均池化操作，然后经过一个多层感知器和sigmoid函数层，得到单幅图像通道注意力权重CAi。
CAi＝Sig(MLP(GAP(Fi)))
其中GAP()表示全局平均池化，MLP()表示多层全连接神经网络，Sig()表示sigmoid函数。
S2.2：计算单幅图像通道注意力特征FCi
所述S1步骤得到的单幅图像特征Fi与所述单幅图像通道注意力权重CAi相乘，得到单幅图像通道注意力特征FCi。
FCi＝Fi*CAi
S2.3：计算多幅图像通道协同注意力权重CCW
将一组内多幅图像的通道注意力权重CAi相加，得到多幅图像通道协同注意力权重。
Figure BDA0002389369930000023
S2.4：计算单幅图像的通道协同注意力特征CCi
所述S1步骤得到的单幅图像特征Fi与所述多幅图像通道协同注意力权重CCW相乘，得到单幅图像通道协同注意力特征CCi。
CCi＝Fi*CCW
S2.5：计算单幅图像的通道特征Ci
将所述单幅图像的通道注意力特征FCi与所述单幅图像的通道协同注意力特征CCi特征级联，得到单幅图像的通道特征。
Ci＝Cat(FCi,CCi)
其中Cat()表示特征级联操作。
进一步的，在步骤S3中，利用单幅图像空间注意力和多幅图像空间协同注意力提取每幅图像的空间特征的具体方法如下：
S3.1：计算单幅图像空间注意力权重SAi
对于所述S2步骤得到的单幅图像通道特征Ci，首先进行基于通道方向的全局平均和最大池化，然后将这两个结果级联，再经过一个7*7的卷积操作和sigmoid函数层，得到单幅图像空间注意力权重SAi。
SAi＝Sig(Conv7*7(Cat(GAP(Ci),GMP(Ci))))
其中GMP()表示全局最大池化，Conv7*7()表示卷积核为7*7的卷积操作。
S3.2：计算单幅图像空间注意力特征FSi
所述S2步骤得到的单幅图像通道特征Ci与所述单幅图像空间注意力权重SAi相乘，得到单幅图像空间注意力特征FSi。
FSi＝Ci*SAi
S3.3：计算多幅图像空间协同注意力权重CSWi
所述S2步骤得到的单幅图像通道特征Ci，与组内其他图像通道特征Cj(j≠i)进行归一化相关系数NC计算，再经过1*1的卷积和sigmoid函数层，得到相似度特征图。所有相似度特征图相加得到空间协同注意力权重CSWi。
Figure BDA0002389369930000031
其中，Conv1*1()表示卷积核为1*1的卷积操作，NC()表示归一化相关系数和，它是图像匹配中的经典算法，用来计算任意两个通道特征Ci和Cj的相似性，定义为：
Figure BDA0002389369930000032
其中，
Figure BDA0002389369930000033
和
Figure BDA0002389369930000034
分别表示Ci和Cj平均值，
Figure BDA0002389369930000035
和
Figure BDA0002389369930000036
分别表示Ci和Cj标准差，D表示Ci和Cj通道数。
S3.4：计算单幅图像的空间协同注意力特征CSi
所述S2步骤得到的单幅图像通道特征Ci与所述空间协同注意力权重CSWi相乘得到空间协同注意力特征CSi。
CSi＝Ci*CSWi
S3.5：计算单幅图像的空间特征Si
将所述单幅图像空间注意力特征FSi与所述单幅图像的空间协同注意力特征CSi特征级联，得到单幅图像的空间特征。
Si＝Cat(FSi,CSi)
进一步的，在步骤S4中，经过解码器生成协同显著图的具体方法如下：
所述步骤S3输出的空间特征Si，经过解码器得到协同显著图Mi。所述解码器采用图像显著性检测模型中常用的FPN(feature pyramid networks)结构，即在最高层特征反卷积的过程中，逐步结合Res_5，Res_4，Res_3，Res_2和Conv_1侧边特征，最后的融合特征经过1*1卷积和sigmoid函数得到协同显著图。
进一步的，在步骤S5中，在显著真值图的监督下进行学习训练的具体方法如下：
整个模型在显著真值图的监督下进行训练，其损失函数定义为图像显著性检测中标准的交叉熵损失函数：
Figure BDA0002389369930000041
其中，Yi和Mi分别表示第i幅图像的显著真值图和模型生成的显著图。
与已有技术相比，本发明有益效果体现在：
本发明提出一种基于注意力机制的图像协同显著目标检测模型，通过通道协同注意力，激活组内图像共同的类别信息，通过空间协同注意力，激活组内图像相似目标的位置。所述模型利用注意力机制挖掘组内图像的协同关系，提高图像协同显著目标检测的效果。
附图说明
图1为本发明一种基于注意力机制的图像协同显著目标检测模型图。
以下通过具体实施方式，并结合附图对本发明做进一步说明，但本发明的实施方式不限于此。
具体实施方式
本实施例提供一种基于注意力机制的图像协同显著目标检测模型，其特征在于，该模型包括以下步骤：
S1、提取单幅图像特征；
S2、利用单幅图像通道注意力和多幅图像通道协同注意力提取每幅图像的通道特征；
S3、利用单幅图像空间注意力和多幅图像空间协同注意力提取每幅图像的空间特征；
S4、经过解码器生成协同显著图；
S5、所述模型在显著真值图的监督下进行学习训练。
进一步的，在步骤S1中，提取单幅图像特征具体方法如下：
一组N幅图像
Figure BDA0002389369930000051
输入共享权重的N个ResNet50网络，提取所述N幅图像的特征
Figure BDA0002389369930000052
所述ResNet50网络包括一个卷积块Conv_1和4个残差卷积块Res_i(i＝2，3，4，5)，在ImageNet数据集上预训练。
进一步的，在步骤S2中，利用单幅图像通道注意力和多幅图像通道协同注意力提取每幅图像的通道特征的具体方法如下：
S2.1：计算单幅图像通道注意力权重CAi
对于所述S1步骤得到的单幅图像特征Fi，首先进行基于空间的全局平均池化操作，然后经过一个简单的3层全连接神经网络和sigmoid函数层，得到单幅图像通道注意力权重CAi。
CAi＝Sig(MLP(GAP(Fi)))
其中GAP()表示全局平均池化，MLP()表示多层全连接神经网络，Sig()表示sigmoid函数。
S2.2：计算单幅图像通道注意力特征FCi
所述S1步骤得到的单幅图像特征Fi与所述单幅图像通道注意力权重CAi相乘，得到单幅图像通道注意力特征FCi。
FCi＝Fi*CAi
S2.3：计算多幅图像通道协同注意力权重CCW
将一组内多幅图像的通道注意力权重CAi相加，得到多幅图像通道协同注意力权重。
Figure BDA0002389369930000053
S2.4：计算单幅图像的通道协同注意力特征CCi
所述S1步骤得到的单幅图像特征Fi与所述多幅图像通道协同注意力权重CCW相乘，得到单幅图像通道协同注意力特征CCi。
CCi＝Fi*CCW
S2.5：计算单幅图像的通道特征Ci
将所述单幅图像的通道注意力特征FCi与所述单幅图像的通道协同注意力特征CCi特征级联，得到单幅图像的通道特征。
Ci＝Cat(FCi,CCi)
其中Cat()表示特征级联操作。
进一步的，在步骤S3中，利用单幅图像空间注意力和多幅图像空间协同注意力提取每幅图像的空间特征的具体方法如下：
S3.1：计算单幅图像空间注意力权重SAi
对于所述S2步骤得到的单幅图像通道特征Ci，首先进行基于通道方向的全局平均和最大池化，然后将这两个结果级联，再经过一个7*7的卷积操作和sigmoid函数层，得到单幅图像空间注意力权重SAi。
SAi＝Sig(Conv7*7(Cat(GAP(Ci),GMP(Ci))))
其中GMP()表示全局最大池化，Conv7*7()表示卷积核为7*7的卷积操作。
S3.2：计算单幅图像空间注意力特征FSi
所述S2步骤得到的单幅图像通道特征Ci与所述单幅图像空间注意力权重SAi相乘，得到单幅图像空间注意力特征FSi。
FSi＝Ci*SAi
S3.3：计算多幅图像空间协同注意力权重CSWi
所述S2步骤得到的单幅图像通道特征Ci，与组内其他图像通道特征Cj(j≠i)进行归一化相关系数NC计算，再经过1*1的卷积和sigmoid函数层，得到相似度特征图。所有相似度特征图相加得到空间协同注意力权重CSWi。
Figure BDA0002389369930000061
其中，Conv1*1()表示卷积核为1*1的卷积操作，NC()表示归一化相关系数和，它是图像匹配中的经典算法，用来计算任意两个通道特征Ci和Cj的相似性，定义为：
Figure BDA0002389369930000062
其中，
Figure BDA0002389369930000063
和
Figure BDA0002389369930000064
分别表示Ci和Cj平均值，
Figure BDA0002389369930000065
和
Figure BDA0002389369930000066
分别表示Ci和Cj标准差，D表示Ci和Cj通道数。
S3.4：计算单幅图像的空间协同注意力特征CSi
所述S2步骤得到的单幅图像通道特征Ci与所述空间协同注意力权重CSWi相乘得到空间协同注意力特征CSi。
CSi＝Ci*CSWi
S3.5：计算单幅图像的空间特征Si
将所述单幅图像空间注意力特征FSi与所述单幅图像的空间协同注意力特征CSi特征级联，得到单幅图像的空间特征。
Si＝Cat(FSi,CSi)
进一步的，在步骤S4中，经过解码器生成协同显著图的具体方法如下：
所述步骤S3输出的空间特征Si，经过解码器得到协同显著图Mi。所述解码器采用图像显著性检测模型中常用的FPN(feature pyramid networks)结构，即在最高层特征反卷积的过程中，逐步结合Res_5，Res_4，Res_3，Res_2和Conv_1侧边特征，最后的融合特征经过1*1卷积和sigmoid函数得到协同显著图。
进一步的，在步骤S5中，在显著真值图的监督下进行学习训练的具体方法如下：
整个模型在显著真值图的监督下进行训练，其损失函数定义为图像显著性检测中标准的交叉熵损失函数：
Figure BDA0002389369930000071
其中，Yi和Mi分别表示第i幅图像的显著真值图和模型生成的显著图。
本实施例一种基于注意力机制的图像协同显著目标检测模型，通过通道协同注意力，激活组内图像共同的类别信息，通过空间协同注意力，激活组内图像相似目标的位置。所述模型利用注意力机制挖掘组内图像的协同关系，提高图像协同显著目标检测的效果。

Claims (1)

1.一种基于注意力机制的图像协同显著目标检测方法，其特征在于，该方法包括以下步骤：
S1、提取单幅图像特征，具体过程如下：
一组N幅图像
Figure FDA0003882738560000011
输入共享权重的N个ResNet50网络，提取所述N幅图像的特征
Figure FDA0003882738560000012
所述ResNet50网络包括一个卷积块Conv_1和4个残差卷积块Res_i，i＝2，3，4，5，在ImageNet数据集上预训练；
S2、利用单幅图像通道注意力和多幅图像通道协同注意力提取每幅图像的通道特征，具体过程如下：
S2.1：计算单幅图像通道注意力权重CAi；
对于所述S1步骤得到的单幅图像特征Fi，首先进行基于空间的全局平均池化操作，然后经过一个多层感知器和sigmoid函数层，得到单幅图像通道注意力权重CAi；
CAi＝Sig(MLP(GAP(Fi)))
其中GAP()表示全局平均池化，MLP()表示多层全连接神经网络，Sig()表示sigmoid函数；
S2.2：计算单幅图像通道注意力特征FCi；
所述S1步骤得到的单幅图像特征Fi与所述单幅图像通道注意力权重CAi相乘，得到单幅图像通道注意力特征FCi；
FCi＝Fi*CAi
S2.3：计算多幅图像通道协同注意力权重CCW；
将一组内多幅图像的通道注意力权重CAi相加，得到多幅图像通道协同注意力权重；
Figure FDA0003882738560000013
S2.4：计算单幅图像的通道协同注意力特征CCi；
所述S1步骤得到的单幅图像特征Fi与所述多幅图像通道协同注意力权重CCW相乘，得到单幅图像通道协同注意力特征CCi；
CCi＝Fi*CCW
S2.5：计算单幅图像的通道特征Ci；
将所述单幅图像的通道注意力特征FCi与所述单幅图像的通道协同注意力特征CCi特征级联，得到单幅图像的通道特征；
Ci＝Cat(FCi,CCi)
其中Cat()表示特征级联操作；
S3、利用单幅图像空间注意力和多幅图像空间协同注意力提取每幅图像的空间特征，具体过程如下：
S3.1：计算单幅图像空间注意力权重SAi；
对于所述S2步骤得到的单幅图像通道特征Ci，首先进行基于通道方向的全局平均和最大池化，然后将这两个结果级联，再经过一个7*7的卷积操作和sigmoid函数层，得到单幅图像空间注意力权重SAi；
SAi＝Sig(Conv7*7(Cat(GAP(Ci),GMP(Ci))))
其中GMP()表示全局最大池化，Conv7*7()表示卷积核为7*7的卷积操作；
S3.2：计算单幅图像空间注意力特征FSi；
所述S2步骤得到的单幅图像通道特征Ci与所述单幅图像空间注意力权重SAi相乘，得到单幅图像空间注意力特征FSi；
FSi＝Ci*SAi
S3.3：计算多幅图像空间协同注意力权重CSWi；
所述S2步骤得到的单幅图像通道特征Ci，与组内其他图像通道特征Cj，j≠i，进行归一化相关系数计算，再经过1*1的卷积和sigmoid函数层，得到相似度特征图；所有相似度特征图相加得到空间协同注意力权重CSWi；
Figure FDA0003882738560000014
其中，Conv1*1()表示卷积核为1*1的卷积操作，NC()表示归一化相关系数，它是图像匹配中的经典算法，用来计算任意两个通道特征Ci和Cj的相似性，定义为：
Figure FDA0003882738560000015
其中，
Figure FDA0003882738560000016
和
Figure FDA0003882738560000017
分别表示Ci和Cj平均值，
Figure FDA0003882738560000018
和
Figure FDA0003882738560000019
分别表示Ci和Cj标准差，D表示Ci和Cj通道数；
S3.4：计算单幅图像的空间协同注意力特征CSi；
所述S2步骤得到的单幅图像通道特征Ci与所述空间协同注意力权重CSWi相乘得到空间协同注意力特征CSi；
CSi＝Ci*CSWi
S3.5：计算单幅图像的空间特征Si；
将所述单幅图像空间注意力特征FSi与所述单幅图像的空间协同注意力特征CSi特征级联，得到单幅图像的空间特征；
Si＝Cat(FSi,CSi)
S4、经过解码器生成协同显著图，具体过程如下：
所述步骤S3输出的空间特征Si，经过解码器得到协同显著图Mi；所述解码器采用图像显著性检测模型中常用的FPN(feature pyramid networks)结构，即在最高层特征反卷积的过程中，逐步结合Res_5，Res_4，Res_3，Res_2和Conv_1侧边特征，最后的融合特征经过1*1卷积和sigmoid函数得到协同显著图；
S5、整个神经网络模型在显著真值图的监督下进行学习训练，具体过程如下：
整个模型在显著真值图的监督下进行训练，其损失函数定义为图像显著性检测中标准的交叉熵损失函数：
Figure FDA0003882738560000021
其中，Yi和Mi分别表示第i幅图像的显著真值图和模型生成的显著图。
CN202010109240.0A 2020-02-21 2020-02-21 一种基于注意力机制的图像协同显著目标检测模型 Active CN113298748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010109240.0A CN113298748B (zh) 2020-02-21 2020-02-21 一种基于注意力机制的图像协同显著目标检测模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010109240.0A CN113298748B (zh) 2020-02-21 2020-02-21 一种基于注意力机制的图像协同显著目标检测模型

Publications (2)

Publication Number Publication Date
CN113298748A CN113298748A (zh) 2021-08-24
CN113298748B true CN113298748B (zh) 2022-11-18

Family

ID=77317607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010109240.0A Active CN113298748B (zh) 2020-02-21 2020-02-21 一种基于注意力机制的图像协同显著目标检测模型

Country Status (1)

Country Link
CN (1) CN113298748B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140001358A (ko) * 2012-06-26 2014-01-07 한국전자통신연구원 차폐 영역 필터링 기반 영상 처리 방법
CN107133955A (zh) * 2017-04-14 2017-09-05 大连理工大学 一种多层次结合的协同显著性检测方法
CN107909059A (zh) * 2017-11-30 2018-04-13 中南大学 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法
CN108550132A (zh) * 2018-03-16 2018-09-18 安徽大学 一种基于全局紧凑先验和全局相似度显著传播的协同显著目标检测方法
CN109583450A (zh) * 2018-11-27 2019-04-05 东南大学 基于前馈神经网络融合视觉注意先验的显著区域检测方法
CN110020658A (zh) * 2019-03-28 2019-07-16 大连理工大学 一种基于多任务深度学习的显著目标检测方法
CN110276396A (zh) * 2019-06-21 2019-09-24 西安电子科技大学 基于物体显著性和跨模态融合特征的图片描述生成方法
CN110390289A (zh) * 2019-07-17 2019-10-29 苏州大学 基于指称理解的视频安防检测方法
CN110675423A (zh) * 2019-08-29 2020-01-10 电子科技大学 一种基于孪生神经网络和注意力模型的无人机跟踪方法
CN110751160A (zh) * 2019-10-30 2020-02-04 华中科技大学 图像中物体的检测方法、装置及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140001358A (ko) * 2012-06-26 2014-01-07 한국전자통신연구원 차폐 영역 필터링 기반 영상 처리 방법
CN107133955A (zh) * 2017-04-14 2017-09-05 大连理工大学 一种多层次结合的协同显著性检测方法
CN107909059A (zh) * 2017-11-30 2018-04-13 中南大学 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法
CN108550132A (zh) * 2018-03-16 2018-09-18 安徽大学 一种基于全局紧凑先验和全局相似度显著传播的协同显著目标检测方法
CN109583450A (zh) * 2018-11-27 2019-04-05 东南大学 基于前馈神经网络融合视觉注意先验的显著区域检测方法
CN110020658A (zh) * 2019-03-28 2019-07-16 大连理工大学 一种基于多任务深度学习的显著目标检测方法
CN110276396A (zh) * 2019-06-21 2019-09-24 西安电子科技大学 基于物体显著性和跨模态融合特征的图片描述生成方法
CN110390289A (zh) * 2019-07-17 2019-10-29 苏州大学 基于指称理解的视频安防检测方法
CN110675423A (zh) * 2019-08-29 2020-01-10 电子科技大学 一种基于孪生神经网络和注意力模型的无人机跟踪方法
CN110751160A (zh) * 2019-10-30 2020-02-04 华中科技大学 图像中物体的检测方法、装置及系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
A Review of Co-Saliency Detection Algorithms: Fundamentals, Applications, and Challenges;DINGWEN ZHANG et al;《ACM Transactions on Intelligent Systems and Technology》;20180131;第9卷(第4期);第1-31页 *
Co-Saliency Detection via Co-Salient Object Discovery and Recovery;L. Ye et al;《IEEE Signal Processing Letters》;20150720;第2073-2077页 *
Co-saliency detection via integration of multi-layer convolutional features and inter-image propagation;Jingru Ren et al;《Neurocomputing》;20190913;第137-146页 *
Co-Saliency Detection via Mask-Guided Fully Convolutional Networks With Multi-Scale Label Smoothing;K. Zhang et al;《CVPR》;20200109;第3090-3099页 *
Pyramid Attention Dense Network for Image Super-Resolution;S. -B. Chen et al;《 2019 International Joint Conference on Neural Networks》;20190930;第1-8页 *
Robust Deep Co-Saliency Detection With Group Semantic and Pyramid Attention;Z. -J. Zha et al;《IEEE Transactions on Neural Networks and Learning Systems》;20200213;第2398-2408页 *
协同视觉显著性检测方法综述;钱晓亮等;《电子学报》;20190630;第47卷(第6期);第1352-1365页 *
基于显著性及弱监督学习的智能视觉信息处理;张鼎文;《中国博士学位论文全文数据库 信息科技辑》;20200215;第2020年卷(第2期);I138-98 *

Also Published As

Publication number Publication date
CN113298748A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN111582316B (zh) 一种rgb-d显著性目标检测方法
Guo et al. Scene-driven multitask parallel attention network for building extraction in high-resolution remote sensing images
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
CN109377530B (zh) 一种基于深度神经网络的双目深度估计方法
CN109949255B (zh) 图像重建方法及设备
CN107220657B (zh) 一种面向小数据集的高分辨率遥感影像场景分类的方法
CN110517329B (zh) 一种基于语义分析的深度学习图像压缩方法
CN112132023A (zh) 基于多尺度上下文增强网络的人群计数方法
CN112001914A (zh) 深度图像补全的方法和装置
CN107103285B (zh) 基于卷积神经网络的人脸深度预测方法
CN107437246B (zh) 一种基于端到端全卷积神经网络的共同显著性检测方法
CN116206133B (zh) 一种rgb-d显著性目标检测方法
CN112329801B (zh) 一种卷积神经网络非局部信息构建方法
CN113408577A (zh) 一种基于注意力机制的图像分类方法
CN112991350A (zh) 一种基于模态差异缩减的rgb-t图像语义分割方法
TW201839665A (zh) 物件辨識方法及物件辨識系統
CN116740439A (zh) 一种基于跨尺度金字塔Transformer的人群计数方法
CN114743027B (zh) 弱监督学习引导的协同显著性检测方法
CN112348033B (zh) 一种协同显著性目标检测方法
CN113298748B (zh) 一种基于注意力机制的图像协同显著目标检测模型
CN115497069A (zh) 基于双向分离注意力的车道线检测与分类方法及系统
CN111489361B (zh) 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法
CN115063352A (zh) 一种基于多图神经网络协同学习架构的显著性物体检测装置及方法
CN109146886B (zh) 一种基于深度密度的rgbd图像语义分割优化方法
CN110188706B (zh) 基于生成对抗网络的视频中人物表情的神经网络训练方法及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant