CN111582316B - 一种rgb-d显著性目标检测方法 - Google Patents

一种rgb-d显著性目标检测方法 Download PDF

Info

Publication number
CN111582316B
CN111582316B CN202010281081.2A CN202010281081A CN111582316B CN 111582316 B CN111582316 B CN 111582316B CN 202010281081 A CN202010281081 A CN 202010281081A CN 111582316 B CN111582316 B CN 111582316B
Authority
CN
China
Prior art keywords
rgb
features
cross
depth
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010281081.2A
Other languages
English (en)
Other versions
CN111582316A (zh
Inventor
雷建军
祝新鑫
范晓婷
石雅南
李奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010281081.2A priority Critical patent/CN111582316B/zh
Publication of CN111582316A publication Critical patent/CN111582316A/zh
Application granted granted Critical
Publication of CN111582316B publication Critical patent/CN111582316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种RGB‑D显著性目标检测方法，所述方法包括以下步骤：通过单模态特征提取，分别获取RGB图和深度图的每一级的单模态显著性特征；通过跨模态联合特征提取对每一级的RGB和深度单模态显著性特征进行选择，逐级捕获RGB图和深度图的互补特征，生成跨模态联合特征；将跨模态联合特征和单模态显著性特征输入到显著性目标检测部分；通过设计低值融合损失和网络整体损失，实现RGB流和深度流检测结果的融合和网络的监督学习，输出最终的显著性检测结果。本发明通过跨模态联合特征提取捕获有价值的跨模态联合特征，并通过设计的低值融合损失使网络关注显著性图的低值显著性区域，提高显著性值的下界。

Description

一种RGB-D显著性目标检测方法
技术领域
本发明涉及图像处理、立体视觉技术领域，尤其涉及一种RGB-D显著性目标检测方法。
背景技术
在面对复杂的自然场景时，人类视觉系统具有快速搜索并定位感兴趣区域和目标的能力。通过将视觉注意力机制引入到计算机视觉中，可以优化计算资源，使视觉信息的处理更符合人眼视觉特征。显著性目标检测旨在自动识别不同场景中的显著性区域，已广泛地应用于分割、重定向、检索、编码、分类等任务。近年来，图像显著性目标检测取得了令人瞩目的进展。实际上，人类视觉系统还具有感知场景中深度信息的能力，深度信息可以作为彩色图的互补信息，应用到显著性目标检测任务中。随着相机设备的快速发展，深度图的获取变得越来越便捷，促进了RGB-D显著性目标检测的研究。
传统的RGB-D显著性目标检测的方法将深度信息作为彩色信息的补充，通过设计手工特征来捕获信息。Peng等人将RGB-D图像对作为四通道的输入，送入多阶段显著性推理模型。Song等人结合四通道的数据和传统技术计算多尺度的显著性值。Liang等人利用对比度和深度背景先验知识，提出了立体显著性检测模型。然而，这些算法受限于无法有效地捕获图像的高级语义特征，并且直接将不同模态的特征进行整合，可能会造成特征不匹配或带来冗余信息。
最近，基于卷积神经网络(Convolutional Neural Network,CNN)的方法成为RGB-D显著性检测任务的主流。与传统的方法相比，基于CNN的方法能够提取并融合高级语义特征和低级纹理特征。大多数基于CNN的方法采用两流架构，以自底向上的方式分别提取RGB和深度特征，然后集成到后处理步骤中进行融合。Han等人提出了一个双流网络来提取RGB和深度特征，然后利用全连接层整合这些特征预测最终的显著性图。Ding等人利用两个不同的CNN来分别预测RGB流和深度流的显著性图，并在显著性融合网络中进行融合。
发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：
首先，现有技术大多利用两个独立的显著性检测模型来提取单模态的特征，这种方式忽略了RGB特征和深度特征之间的互补性。因此，如何在特征提取的过程中逐步结合跨模态特征仍需要进一步探索。其次，在后期融合策略中，现有技术大多通过像素级相加或相乘的方式，融合RGB流和深度流的显著性预测，这种简单的融合方式没有充分利用两流的预测，无法有效地突出完整的显著性目标、抑制背景区域。
发明内容
本发明提供了一种RGB-D显著性目标检测方法，通过跨模态联合特征提取捕获有价值的跨模态联合特征，并通过设计的低值融合损失使网络关注显著性图的低值显著性区域，提高显著性值的下界，详见下文描述：
一种RGB-D显著性目标检测方法，所述方法包括以下步骤：
通过单模态特征提取，分别获取RGB图和深度图的每一级的单模态显著性特征；
通过跨模态联合特征提取对每一级的RGB和深度单模态显著性特征进行选择，逐级捕获RGB图和深度图的互补特征，生成跨模态联合特征；
将跨模态联合特征和单模态显著性特征输入到显著性目标检测部分；
通过设计低值融合损失和网络整体损失，实现RGB流和深度流检测结果的融合和网络的监督学习，输出最终的显著性检测结果。
其中，所述单模态特征提取基于VGG-16模型，包含五组卷积块，每组卷积块由相应的卷积层和池化层组成；
去掉第五组卷积块中最后一层池化层，并在后面加入了四个并行的空洞卷积捕获全局多感受野信息，四个空洞卷积输出的特征进行级联，组成第五组卷积块的输出。
进一步地，所述跨模态联合特征提取具体为：
在单模态特征提取过程中，先对RGB和深度单模态显著性特征进行空间特征选择，然后结合形成跨模态联合特征表示；跨模态特征表示经过通道注意力模块重新加权，生成加权后的RGB-D特征；加权后的RGB-D特征、RGB特征和深度特征进行结合，生成每一级的跨模态联合特征。
其中，所述跨模态联合特征具体为：
Figure BDA0002446591830000021
其中，Up(·)表示利用双线性插值的上采样操作，
Figure BDA0002446591830000022
即为跨模态联合特征提取模块的输出，
Figure BDA0002446591830000023
为经过一个通道注意力模块产生加权后的RGB-D特征，
Figure BDA0002446591830000024
为RGB特征，
Figure BDA0002446591830000025
为深度特征，Conv(·)表示卷积操作。
进一步地，所述显著性目标检测部分包括RGB和深度显著性目标检测，两部分采用相同的结构，
每一部分都设计了五个融合块为了整合单模态的多尺度特征和跨模态的联合特征，提高每流显著性目标检测的精度；
单模态的多尺度特征由两个卷积层和上采样层捕获，在每个融合块中，每级捕获的多尺度特征和联合特征通过通道级联和卷积进行整合，生成更新后的显著性特征。
其中，所述低值融合损失具体为：
Figure BDA0002446591830000031
其中，k表示像素的索引，
Figure BDA0002446591830000032
和
Figure BDA0002446591830000033
分别表示RGB流和深度流预测的显著性值，Gk表示真值，||·||2为2范数，N为图像的像素个数。
本发明提供的技术方案的有益效果是：
1、本发明通过设计跨模态联合特征提取部分和显著性目标检测部分，有效地整合了RGB图像和深度图的互补信息，提高了每流显著性检测的精度；
2、本发明通过设计低值融合损失，有效建立了两流显著性检测之间的关系，使网络关注显著性值较低的区域，提高显著性值的下界，本发明取得了良好的显著性目标检测性能。
附图说明
图1为一种RGB-D显著性目标检测方法的流程图；
图2为一种RGB-D显著性目标检测方法的具体实施框架；
图3为跨模态特征提取模块(CFM)和RGB显著性检测部分中融合块(FB)的结构图；
图4为检测结果的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提出了一种基于跨模态联合特征提取和低值融合损失的RGB-D显著性目标检测方法。通过设计跨模态联合特征提取部分，有效地捕获了RGB特征和深度特征之间的互补性；通过设计显著性目标检测部分，有效地整合了单模态的多尺度特征和跨模态的联合特征，提高了每流显著性检测的精度；通过设计低值融合损失，有效地提高显著性值的下界，促进了不同检测结果之间的融合。
整个流程分为六部分：1)单模态特征提取；2)跨模态联合特征提取；3)显著性目标检测；4)低值融合损失设计；5)网络整体损失设计；6)网络训练策略设计，具体步骤如下：
一、单模态特征提取
单模态特征提取部分由RGB特征提取和深度特征提取组成，由于RGB图像和深度图中具有相同的显著性目标，两部分采用相同的结构。特征提取部分基于VGG-16模型，包含五组卷积块，每组卷积块由相应的卷积层和池化层组成。
为了更好地适应该任务，该部分去掉了第五组卷积块中最后一层池化层，并在后面加入了四个并行的空洞卷积来捕获全局多感受野信息，四个空洞卷积输出的特征进行级联，组成第五组卷积块的输出。在本发明中，四个空洞卷积的空洞率分别被设置为1、2、4、6，每个空洞卷积输出特征的尺寸(高度×宽度×通道数)为14×14×128。输入图像的大小为224×224，五组卷积块输出特征的尺寸依次为112×112×64、56×56×128、28×28×256、14×14×512、14×14×512。以下，将RGB特征提取部分中每组卷积块的输出记为
Figure BDA0002446591830000041
深度特征提取部分中每组卷积块的输出记为
Figure BDA0002446591830000042
二、跨模态联合特征提取
跨模态联合特征提取部分由设计的五个跨模态联合特征提取模块(CFM)组成，其目的是为了在单模态特征提取过程中逐步捕获RGB图像和深度图的互补信息，生成每一级的联合特征。在跨模态联合特征提取模块中，RGB特征和深度特征首先进行空间特征选择，然后再结合形成跨模态特征表示。为了强调显著性特征的重要性，加入了现有的通道注意力模块(该模块为本领域技术人员所公知，本发明实施例对此不做赘述)来加权不同通道上的响应。最后，加权后的特征、RGB特征和深度特征结合在一起，通过卷积和上采样操作形成最终的跨模态联合特征。与此同时，各级联合特征又相继送入到单模态的显著性目标检测部分，为单模态的显著性检测提供有价值的互补信息。
1)单模态特征的选择
每个CFM i模块的结构如图3(a)所示，每个模块都有2个输入，1个输出，两个输入分别为每一级对应的RGB特征
Figure BDA0002446591830000051
和深度特征
Figure BDA0002446591830000052
即，在跨模态联合特征提取模块中，首先将RGB特征和深度特征沿着通道分为J组，每组特征分别表示为
Figure BDA0002446591830000053
和
Figure BDA0002446591830000054
然后在每组通道上进行分组卷积，得到RGB流和深度流经过选择的特征
Figure BDA0002446591830000055
和
Figure BDA0002446591830000056
其表示为：
Figure BDA0002446591830000057
和
Figure BDA0002446591830000058
其中，Conv(·)表示3×3的卷积操作，J＝4为分组的个数。
2)跨模态联合特征的生成
对于RGB流和深度流经过选择的每组特征，通过元素级相加进行整合，得到每组跨模态特征表示
Figure BDA0002446591830000059
其公式表达为：
Figure BDA00024465918300000510
每组跨模态的特征表示通过通道级联整合在一起，送入1×1的卷积层进行融合。然后，经过一个通道注意力模块产生加权后的RGB-D特征
Figure BDA00024465918300000511
最后，加权后的特征、RGB特征和深度特征进行元素级相加，通过3×3的卷积层和上采样层产生最终的跨模态联合特征
Figure BDA00024465918300000512
其公式表达为：
Figure BDA00024465918300000513
其中，Up(·)表示利用双线性插值的上采样操作，公式(4)的结果
Figure BDA0002446591830000061
即为跨模态联合特征提取模块的输出。跨模态联合特征和单模态的多尺度特征一同送入下面的显著性目标检测部分进行整合。
三、显著性目标检测
显著性目标检测部分包括RGB显著性目标检测和深度显著性目标检测，两部分采用相同的结构。其中，在每一部分都设计了五个融合块(FB)，其目的是为了整合单模态的多尺度特征和跨模态的联合特征，提高每流显著性目标检测的精度。其中，单模态的多尺度特征由两个卷积层和上采样层捕获。在每个融合块中，每级捕获的多尺度特征和联合特征通过通道级联和卷积进行整合，生成更新后的显著性特征。
RGB显著性目标检测部分的融合块(FB)如图3(b)所示。首先，通过两个卷积层和一个上采样层，捕获单模态的多尺度特征；然后，将捕获的多尺度特征、跨模态联合特征以及前一个融合块输出的特征进行级联，送入3×3的卷积层进行特征整合。
RGB流生成的整合特征
Figure BDA0002446591830000062
表示为：
Figure BDA0002446591830000063
其中，
Figure BDA0002446591830000064
表示RGB流中第i-1个融合块输出的特征，
Figure BDA0002446591830000065
表示RGB特征提取部分捕获的多尺度特征，Concat(·)表示级联操作。特别地，第一个融合块的输入为
Figure BDA0002446591830000066
和
Figure BDA0002446591830000067
第五个融合块的输入为
Figure BDA0002446591830000068
和
Figure BDA0002446591830000069
同样，深度流生成的整合特征
Figure BDA00024465918300000610
表示为：
Figure BDA00024465918300000611
其中，
Figure BDA00024465918300000612
表示深度流中第i-1个融合块的输出，
Figure BDA00024465918300000613
表示深度特征提取部分捕获的多尺度特征。
在RGB流和深度流的最后一个融合块后，分别加入一个1×1的卷积进行显著性目标检测，生成各自预测的显著性图(224×224×1)。
四、低值融合损失设计
在得到两流的显著性检测结果之后，为了使两流的检测结果得到进一步的融合，本发明设计了一种低值融合损失来约束不同预测之间的关系，提高显著性值的下界。设计的低值融合损失Llow-bound-fusion定义为：
Figure BDA0002446591830000071
其中，k表示像素的索引，
Figure BDA0002446591830000072
和
Figure BDA0002446591830000073
分别表示RGB流和深度流预测的显著性值，Gk表示真值，||·||2为2范数，N为图像的像素个数。
通过引入低值融合损失，使网络迭代更新每个像素的低显著值。换句话说，通过在RGB流和深度流的显著性目标检测之间建立相关性，本发明设计的低值融合损失提供了一种在后期提升显著性图融合性能的新方法。
五、网络整体损失设计
在低值融合损失的基础上，加入常见的交叉熵损失来监督每一流的显著性检测。RGB流的交叉熵损失
Figure BDA0002446591830000074
和深度流的交叉熵损失
Figure BDA0002446591830000075
定义为：
Figure BDA0002446591830000076
和
Figure BDA0002446591830000077
最后，网络整体损失函数L定义为：
Figure BDA0002446591830000078
六、网络训练策略设计
整个网络的训练分为两个阶段，即预训练阶段和联合训练阶段。在预训练阶段，RGB流和深度流分别进行训练，采用交叉熵损失对每一流的显著性检测进行监督。每一流的训练收敛后，将这一阶段的参数作为下一阶段训练的初始化权重。在联合训练阶段，加入跨模态联合特征提取部分，与单模态显著性检测部分一起进行联合训练。利用上一阶段两个流的权值初始化整个网络的参数，跨模态联合特征提取部分的权重采用随机初始化的方式。同时，加入设计的低值融合损失，其与交叉熵损失一起作为整个网络的监督。
实施例2
图1给出了本发明的技术流程图，主要包括：单模态特征提取、跨模态联合特征提取、显著性目标检测、低值融合损失设计、网络整体损失设计和网络训练策略设计六个部分。
图2给出了本发明的具体实施框图。
图3给出了跨模态特征提取模块(CFM)和RGB显著性检测部分融合块(FB)的结构图。
图4给出了RGB-D显著性目标检测的例子。其中，第一列为RGB图像，第二例为深度图，第三列为显著性目标检测的真值图，第四列为本发明方法得到的结果。
从结果可以看出，本发明方法有效地融合了RGB图像和深度图的信息，检测到的显著性目标结构完整、轮廓清晰。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种RGB-D显著性目标检测方法，其特征在于，所述方法包括以下步骤：
通过单模态特征提取，分别获取RGB图和深度图的每一级的单模态显著性特征；
通过跨模态联合特征提取对每一级的RGB和深度单模态显著性特征进行选择，逐级捕获RGB图和深度图的互补特征，生成跨模态联合特征；
将跨模态联合特征和单模态显著性特征输入到显著性目标检测部分；
通过设计低值融合损失，实现RGB流和深度流检测结果的融合，并构建网络整体损失以实现网络的监督学习，输出最终的显著性结果；
其中，所述低值融合损失具体为：
Figure FDA0003648029780000011
其中，k表示像素的索引，
Figure FDA0003648029780000012
和
Figure FDA0003648029780000013
分别表示RGB流和深度流预测的显著性值，Gk表示真值，||·||2为2范数，N为图像的像素个数；
其中，所述单模态特征提取基于VGG-16模型，包含五组卷积块，每组卷积块由相应的卷积层和池化层组成；
去掉第五组卷积块中最后一层池化层，并在后面加入了四个并行的空洞卷积捕获全局多感受野信息，四个空洞卷积输出的特征进行级联，组成第五组卷积块的输出；
所述跨模态联合特征提取具体为：
在单模态特征提取过程中，先对RGB和深度单模态显著性特征进行空间特征选择，然后结合形成跨模态联合特征表示；跨模态特征表示经过通道注意力模块重新加权，生成加权后的RGB-D特征；加权后的RGB-D特征分层级相继与RGB特征和深度特征进行结合，生成每一级的跨模态联合特征，为单模态的显著性检测提供有价值的互补信息；
所述显著性目标检测部分包括RGB和深度显著性目标检测，两部分采用相同的结构，
每一部分都设计了五个融合块为了整合单模态的多尺度特征和跨模态的联合特征，提高每流显著性目标检测的精度；
单模态的多尺度特征由两个卷积层和上采样层捕获，在每个融合块中，每级捕获的多尺度特征和联合特征通过通道级联和卷积进行整合，生成更新后的显著性特征。
2.根据权利要求1所述的一种RGB-D显著性目标检测方法，其特征在于，所述跨模态联合特征具体为：
Figure FDA0003648029780000014
其中，Up(·)表示利用双线性插值的上采样操作，
Figure FDA0003648029780000021
即为跨模态联合特征提取模块的输出，
Figure FDA0003648029780000022
为经过一个通道注意力模块产生加权后的RGB-D特征，
Figure FDA0003648029780000023
为RGB特征，
Figure FDA0003648029780000024
为深度特征，Conv(·)表示卷积操作。
CN202010281081.2A 2020-04-10 2020-04-10 一种rgb-d显著性目标检测方法 Active CN111582316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010281081.2A CN111582316B (zh) 2020-04-10 2020-04-10 一种rgb-d显著性目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010281081.2A CN111582316B (zh) 2020-04-10 2020-04-10 一种rgb-d显著性目标检测方法

Publications (2)

Publication Number Publication Date
CN111582316A CN111582316A (zh) 2020-08-25
CN111582316B true CN111582316B (zh) 2022-06-28

Family

ID=72122781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010281081.2A Active CN111582316B (zh) 2020-04-10 2020-04-10 一种rgb-d显著性目标检测方法

Country Status (1)

Country Link
CN (1) CN111582316B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114157876A (zh) * 2020-09-07 2022-03-08 北京达佳互联信息技术有限公司 直播分类方法、装置、服务器和存储介质
CN112348870B (zh) * 2020-11-06 2022-09-30 大连理工大学 一种基于残差融合的显著性目标检测方法
CN112651406B (zh) * 2020-12-18 2022-08-09 浙江大学 一种深度感知和多模态自动融合的rgb-d显著性目标检测方法
CN113112464B (zh) * 2021-03-31 2022-06-21 四川大学 基于跨模态交流编码器的rgbd显著性物体检测方法及系统
CN113159068B (zh) * 2021-04-13 2022-08-30 天津大学 一种基于深度学习的rgb-d显著性目标检测方法
CN113076957A (zh) * 2021-04-21 2021-07-06 河南大学 一种基于跨模态特征融合的rgb-d图像显著性目标检测方法
CN113222003B (zh) * 2021-05-08 2023-08-01 北方工业大学 一种基于rgb-d的室内场景逐像素语义分类器构造方法及系统
CN113192093B (zh) * 2021-05-10 2023-04-18 新疆大学 基于双流网络结构的快速显著性目标检测方法
CN113313688B (zh) * 2021-05-28 2022-08-05 武汉乾峯智能科技有限公司 一种含能材料药桶识别方法、系统、电子设备及存储介质
CN113362307B (zh) * 2021-06-07 2023-03-28 哈尔滨理工大学 一种rgb-d图像显著性检测方法
CN113298094B (zh) * 2021-06-10 2022-11-04 安徽大学 一种基于模态关联与双感知解码器的rgb-t的显著性目标检测方法
CN113627367B (zh) * 2021-08-16 2023-04-07 电子科技大学 一种基于多维信息聚合的立体视频显著性检测方法
CN115439726B (zh) * 2022-11-07 2023-02-07 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及存储介质
CN116206133B (zh) * 2023-04-25 2023-09-05 山东科技大学 一种rgb-d显著性目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903276A (zh) * 2019-02-23 2019-06-18 中国民航大学 基于多层融合的卷积神经网络rgb-d显著性检测方法
CN110175986A (zh) * 2019-04-23 2019-08-27 浙江科技学院 一种基于卷积神经网络的立体图像视觉显著性检测方法
CN110210539A (zh) * 2019-05-22 2019-09-06 西安电子科技大学 多级深度特征融合的rgb-t图像显著性目标检测方法
CN110458178A (zh) * 2019-08-12 2019-11-15 浙江科技学院 多模态多拼接的rgb-d显著性目标检测方法
CN110619638A (zh) * 2019-08-22 2019-12-27 浙江科技学院 一种基于卷积块注意模块的多模态融合显著性检测方法
CN110889416A (zh) * 2019-12-13 2020-03-17 南开大学 一种基于级联改良网络的显著性物体检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903276A (zh) * 2019-02-23 2019-06-18 中国民航大学 基于多层融合的卷积神经网络rgb-d显著性检测方法
CN110175986A (zh) * 2019-04-23 2019-08-27 浙江科技学院 一种基于卷积神经网络的立体图像视觉显著性检测方法
CN110210539A (zh) * 2019-05-22 2019-09-06 西安电子科技大学 多级深度特征融合的rgb-t图像显著性目标检测方法
CN110458178A (zh) * 2019-08-12 2019-11-15 浙江科技学院 多模态多拼接的rgb-d显著性目标检测方法
CN110619638A (zh) * 2019-08-22 2019-12-27 浙江科技学院 一种基于卷积块注意模块的多模态融合显著性检测方法
CN110889416A (zh) * 2019-12-13 2020-03-17 南开大学 一种基于级联改良网络的显著性物体检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ASIF-Net: Attention Steered Interweave Fusion Network for RGB-D Salient Object Detection;Chongyi Li等;《IEEE TRANSACTIONS ON CYBERNETICS》;20200213;第88-100页 *
Discriminative Cross-Modal Transfer Learning and Densely Cross-Level Feedback Fusion for RGB-D Salient Object Detection;Hao Chen等;《IEEE TRANSACTIONS ON CYBERNETICS》;20190830;第4808-4820页 *
Multi-modal fusion network with multi-scale multi-path and cross-modal interactions for RGB-D salient object detection;Hao Chen等;《Pattern Recognition》;20180813;第376-385页 *
Progressively Complementarity-aware Fusion Network for RGB-D Salient Object Detection;Hao Chen等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181231;第3051-3060页 *
Three-Stream Attention-Aware Network for RGB-D Salient Object Detection;Hao Chen等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20190630;第28卷(第6期);第2825-2835页 *
基于特征融合的RGB-D图像视觉显著性检测方法研究;王松涛;《中国优秀博硕士学位论文全文数据库（博士） 信息科技辑》;20190115(第01期);I138-100 *

Also Published As

Publication number Publication date
CN111582316A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111582316B (zh) 一种rgb-d显著性目标检测方法
CN110210539B (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN111242138B (zh) 一种基于多尺度特征融合的rgbd显著性检测方法
CN108596330B (zh) 一种并行特征全卷积神经网络装置及其构建方法
CN109741331B (zh) 一种图像前景物体分割方法
CN111696148A (zh) 基于卷积神经网络的端到端立体匹配方法
CN112348870B (zh) 一种基于残差融合的显著性目标检测方法
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN111797841B (zh) 一种基于深度残差网络的视觉显著性检测方法
CN112598053B (zh) 基于半监督学习的主动显著性目标检测方法
CN116206133B (zh) 一种rgb-d显著性目标检测方法
CN110929735B (zh) 一种基于多尺度特征注意机制的快速显著性检测方法
WO2023174098A1 (zh) 一种实时手势检测方法及装置
CN113033454B (zh) 一种城市视频摄像中建筑物变化的检测方法
CN113076947B (zh) 一种交叉引导融合的rgb-t图像显著性检测系统
CN111242181B (zh) 基于图像语义和细节的rgb-d显著性物体检测器
Chen et al. Dr-tanet: Dynamic receptive temporal attention network for street scene change detection
CN114638836B (zh) 基于高度有效驱动与多层级特征融合的城市街景分割方法
CN115713679A (zh) 基于多源信息融合、热红外和三维深度图的目标检测方法
CN113076957A (zh) 一种基于跨模态特征融合的rgb-d图像显著性目标检测方法
CN114693929A (zh) 一种rgb-d双模态特征融合的语义分割方法
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN113963170A (zh) 一种基于交互式特征融合的rgbd图像显著性检测方法
CN114092774B (zh) 基于信息流融合的rgb-t图像显著性检测系统及检测方法
CN114359626A (zh) 基于条件生成对抗网络的可见光-热红外显著目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant