CN111242181B - 基于图像语义和细节的rgb-d显著性物体检测器 - Google Patents

基于图像语义和细节的rgb-d显著性物体检测器 Download PDF

Info

Publication number
CN111242181B
CN111242181B CN202010004815.2A CN202010004815A CN111242181B CN 111242181 B CN111242181 B CN 111242181B CN 202010004815 A CN202010004815 A CN 202010004815A CN 111242181 B CN111242181 B CN 111242181B
Authority
CN
China
Prior art keywords
feature
convolution
matrix
rgb
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010004815.2A
Other languages
English (en)
Other versions
CN111242181A (zh
Inventor
王鹏杰
赵世敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Minzu University filed Critical Dalian Minzu University
Priority to CN202010004815.2A priority Critical patent/CN111242181B/zh
Publication of CN111242181A publication Critical patent/CN111242181A/zh
Application granted granted Critical
Publication of CN111242181B publication Critical patent/CN111242181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

基于图像语义和细节的RGB‑D显著性物体检测器，属于图像显著性物体检测领域，为了解决现有图像处理显著性特征的效果表达不佳的问题，本发明提出如下技术方案：一种基于图像语义和细节的RGB‑D显著性物体检测器，包括特征融合互补网络，特征融合互补网络的架构主要由RGB特征流提取器、深度特征流提取器、高级语义融合模块、轮廓细节融合模块组成，效果是使用SFM通过非线性加权求和来捕获RGB特征和深度特征的高级相互依存的语义关系，还使用DFM集成了多维轮廓细节特征，以补充SFM提取的特征并增强了细节表达能力。

Description

基于图像语义和细节的RGB-D显著性物体检测器
技术领域：
本发明属于图像显著性物体检测领域，涉及一种RGB-D图像中的显著性物体检测方法，具体为基于图像语义和细节的RGB-D显著性物体检测方法。
背景技术：
以前基于的显著性目标检测方法RGB-D可以分为三类，早期融合(或输入融合)，后期融合(或结果融合)和中间融合(或特征融合)。
在早期融合方案中，通常将RGB特征和深度特征直接结合在一起，然后经过一系列处理最终获得显著性图的过程。论文“RGB-D salient object detection:a benchmarkand algorithms”将RGB-D图像用作输入并融合从低级对比，中级区域分组和高级先验。为了解决由高对比度产生的误报结果问题，论文“Local background enclosure for RGB-Dsalient object detection”使用本地背景外壳检测明显的物体。论文“Depth-awaresalient object detection and segmentation via multiscale discriminativesaliency fusion andbootstrap learning”采用不同的方法级别功能并训练随机森林回归器进行融合判别显著性图。论文“RGBD salient object detection via deep fusion”尝试使用RGB-D图像中的传统手工特征作为输入，然后将这些特征利用CNN网络和拉普拉斯传播算法生成显著性图。
在后期融合中，RGB特征和深度特征首先经过不同的流程，然后将处理后的特征融合在一起联合最终显著性预测。论文“Depth Enhanced Saliency Detection Method”提出深度增强显著性检测方法通过考虑颜色和深度以使其更扩展到复杂的背景。论文“Stereoconfidence metrics using the costs ofsurroundingpixels”提出了一种结合区域显著性检测方法深度对比，深度加权颜色对比区域并提取四个特征，包括颜色，亮度，离散余弦变换系数的纹理和深度用于特征对比计算和最终融合。
第三类通常基于CNN方法。通常，对RGB特征和深度特征进行预处理单独获得中间特征，然后融合，并为最终显著性图进行进一步的处理。论文“Progressivelycomplementarity-aware fusion network for RGB-D salient object detection”提出互补性意识，通过逐步合并和融合实现融合网络补充跨模型和跨级别功能深层次的监督。论文“CNNs-Based RGB-D Saliency Detection via Cross-View Transfer andMultiview Fusion”首先使用RGB CNN显著性网络参数通过附加的隐藏结构监视来训练深度输入数据进行跨视图传输。然后，他们提出了具有新的全连接的多视图融合方法图层融合RGB和深度功能。不同于传统的两流方法，论文“Three-stream attention-awarenetwork for RGB-D salient objectdetection”通过介绍一个三流架构自下而上的流来连接和融合RGB功能和深度功能。他们还介绍了交叉模型基于注意机制的级别块以减少融合不确定的最佳性能。论文“Contrast Prior andFluid Pyramid Integration for RGBDSalient Object Detection”首先通过对比设计基于CNN的网络在增强深度图像之前。为了更好的兼容性RGB特征和深度特征，流体金字塔集成引入了体系结构以融合这些层次结构特征。
关于RGB特征和深度特征融合，包括早期特征拼接的融合，中期特征补充的监督以及后期特征相匹配的融合研究都取得了相应的进展，然而由于早期RGB的丰富特征在早期融合的过程中会掩盖疏的深度特征，使得在早期特征融合的过程深度信息的权重占比相当特征小甚至在特征网络加深的情况下，其对结构的影响越来越小，而在后期的特征融合过程中，由于直接在末端进行特征融合，缺乏了特征网络中间时刻的特征监督，而在中间特征融合方案中缺乏有效的注意力机制进行引导，使得在网络的末端造成的特征混乱严重影响着显著性特征的效果表达。
发明内容：
为了解决现有图像处理显著性特征的效果表达不佳的问题，本发明提出如下技术方案：一种基于图像语义和细节的RGB-D显著性物体检测器，包括特征融合互补网络，特征融合互补网络的架构主要由RGB特征流提取器、深度特征流提取器、高级语义融合模块、轮廓细节融合模块组成。
进一步的，RGB特征流提取器：由训练集RGB图像得到不同尺度的具有丰富语义特征的矩阵F1 I,F2 I,F3 I,F4 I。
进一步的，深度特征流提取器：由深度图像训练集得到不同尺度的具有物体轮廓细节的矩阵F1 D,F2 D,F3 D,F4 D。
进一步的，高级语义融合模块：将RGB特征提取器获取的语义特征F4 I和深度特征流提取器获得的轮廓特征F4 D分别进行1×1卷积、RELU激活，然后进行矩阵相加，然后进行RELU激活，得到特征融合矩阵V；将特征融合矩阵V进行两个1×1卷积得到融合矩阵N；对融合矩阵N进行3×3卷积得到混合增强矩阵M；对混合增强矩阵M进行3×3卷积得到混合增强矩阵H，将特征矩阵N,M,H进行Concat特征堆叠操作，将堆叠后的多维特征矩阵进行1×1卷积，得到高级语义融合模块的最终输出特征O1。
进一步的，轮廓细节融合模块：将高级语义融合模块的最终输出特征O1进行上采样；将F4 I,F4 D分别进行上采样、1×1卷积、RELU激活，矩阵对应相加，RELU激活运算得到混合矩阵F4；将F3 I,F3 D分别进行1×1卷积、RELU激活，矩阵对应相加，RELU激活运算得到混合矩阵F3；将F4进行1×1卷积运算后和上采样后的特征O1，进行矩阵对应相加，1×1卷积运算得到混合矩阵O；将F3进行1×1卷积并和混合矩阵O进行矩阵对应相加，得到轮廓细节融合模块的最终输出特征O2。
进一步的，循环卷积增强模块：将轮廓细节融合模块的最终输出特征O2进行上采样、3×3卷积得到特征O3,特征O3再经过上采样，3×3卷积得到特征O4，然后将特征O1,O2,O3,O4分别进行3×3卷积，特征O1的卷积结果和F4 I、特征O2的卷积结果和F3 I、特征O3的卷积结果和F2 I、特征O4的卷积结果和F1 I共同作为循环卷积块的输入，循环卷积块的输出进行Concat特征堆叠操作，将堆叠后的多维矩阵进行1×1卷积，最终得到特征融合互补网络的输出S。
进一步的，RGB特征流提取器以VGG-16网络的前1-4卷积块为为主干网络，训练集RGB图像经过主干网络后，得到不同尺度的具有丰富语义特征的矩阵F1 I,F2 I,F3 I,F4 I。
进一步的，深度特征流提取器以VGG-16网络的前1-4卷积块为为主干网络，主干网络的第一个卷积层通道数为1，深度图像训练集经过主干网络后,得到不同尺度的具有物体轮廓细节的矩阵F1 D,F2 D,F3 D,F4 D。
有益效果：本发明提出了一种简单有效的RGB-D显著性目标检测方法。为了有效利用RGB-D图像中包含的高级语义和轮廓细节，本发明主要采用语义和细节互补融合机制来促进RGB特征和深度特征的有效融合。与以前的方法相比，本发明使用SFM通过非线性加权求和来捕获RGB特征和深度特征的高级相互依存的语义关系。同时，为了最小化特征融合时的噪声，本发明还使用DFM集成了多维轮廓细节特征，以补充SFM提取的特征并增强了细节表达能力。
附图说明
图1是基于RGB-D图像的显著性检测网络结构。
图2是语义融合模型。
图3是细节融合模型。
图4是语义和细节效果对比图。
图5是不同方法对于图像处理的效果图。
具体实施方式
本发明通过充分利用跨模型和多级功能，目标是从RGB和深度图像中学习有效的模型，以生成像素级显著性图。图1显示了本发明的主要架构，该架构具有编码器/解码器结构。给定RGB图像I和深度图像D，本发明使用两个编码器流RGB流和深度流来提取多尺度卷积特征。本发明将VGG-16用作编码器的主干，因为它的效率高，并且在图像分类任务中有很好的结果。原始的VGG-16具有五个卷积块和三个完全连接的层。为了提高计算效率，本发明仅使用第一至第四卷积块。提取的特征然后将显著性图分别馈入SFM和DFM。由于深度数据擅长捕获空间结构和3D布局，因此3D布局经常出现在神经网络的后面。因此，本发明仅在后面阶段使用最后两个卷积块中的特征。具体地，从多尺度特征中计算出四个融合特征图设Fi I和Fi D分别为RGB流和深度流中的第i个块的特征图。SFM计算融合特征图O1为：O1＝SFM(F4 I,F4 D),然后通过细节融合模型DFM获得特征图O2为：O2＝DFM(F3 I,F4 I,F3 D,F4 D,O1),然后对O2进行上采样并通过一个3×3卷积运算得到O3,继续对O3进行上采样和3×3卷积运算得到O4。将得到的特征系列O1,O2,O3,O4,分别通过一个3×3卷积，其结果将和来自RGB特征流的特征系列Fi I,i＝1,2,3,4,成对的作为循环卷积网络的输入，通过联系上下文信息，得到循环卷积网络的特征输出Gi,i＝1,2,3,4，然后将Gi通过Concat特征堆叠，后经过一个1×1卷积降维处理，得到最终的显著性特征图S。在网络训练的时候本发明使用二值化交叉损失熵将预测特征矩阵S和真实标签Y做损失/>
语义融合模块：依靠图像本身的先验知识无法清晰地提取显著性特征，复杂场景中的高层语义关系可以帮助我们获得更多的丰富的显著性特征。图像的深度特征描述了显著性物体和相机镜头之间的距离关系，这也是高层的关系。RGB图像的高级关系涉及前景和背景，全局和局部，低层和高层之间的关系。为了提取更丰富的RGB和更深层的语义特征，我们设计一个语义融合模块(SFM)。
图2所示为了获取更多丰富的RGB和深度语义特征，本发明设计的SFM模块，如图2所示，首先本发明用小型感受野从和/>中通过公式
N＝(CONV1×1@512(CONV1×1@512(V)))
获得了非线性表示V和N,这里CONV1×1@512表示一个卷积其拥有512个1×1大小的卷积核，表示特征逐像素相加。然后通过大型感受野获得更加复杂的互补特征，并用H表示，促进了融合模块的实现，以最大化图像高级语义的集成，使得能融合极大化整合图像中的高级语义。为此本发明使用两个3×3卷积代替一个5×5卷积，通过公式M＝CONV3×3@512(N)和H＝CONV3×3@512(M)，本发明得到了丰富的融合特征H，这里σ表示RELU激活函数。最后本发明使用1×1卷积来整合所有的语义特征图，通过公式O1＝CONV1×1@512(Concat(H,M,N))进而得到语义融合模块的最终输出特征，所有输入都映射到相同的空间，为了很好的提升融合效果，降低计算复杂度，这里的增强矩阵H,M,N被缩放到了相同的尺度。
细节融合模型：主干网络的不同阶段，RGB图像和深度图像能够提供不同的描述显著性物体的细节，来自语义融合模型的高级别关系特征并不能很好的刻画显著性物体的详细轮廓，为此，如图3所示，本发明设计了细节融合模型，进而突出显著性物体细节，又进一步的对高级语义信息进行补充，首先，本发明使用多个1×1卷积增强不同阶段产生的特征矩阵，通过公式
可以得到融合增强特征矩阵O，这里UP表示上采样运算，然后本发明使用1×1卷积对多维度特征进行降维，最后，本发明将F3和O，通过公式进行逐像素的相加。
在一种方案中，本发明具体为基于图像语义和细节的RGB-D显著性物体检测器。构建特征融合互补网络，融合模型中包含语义融合和细节融合两个机制，通过高级语义和轮廓细节两模型的可持续动态互补交叉指导得到所述高效的显著性物体检测器。其实现了利用RGB-D图像的高级语义和显著性物体的轮廓细节进行显著性物体检测，显著提高了RGB-D图像中显著性物体的检测精度。具体的说，本发明构建了一种基于图像语义和细节的RGB-D显著性物体检测器，其是一特征融合互补网络，特征融合互补网络结构分为RGB特征流提取器、深度特征流提取器、高级语义融合、轮廓细节融合和循环卷积增强五个模块。
其中RGB特征流提取器以VGG-16网络的前1-4卷积块为为主干网络，训练集RGB图像经过主干网络后，得到不同尺度的具有丰富语义特征的矩阵F1 I,F2 I,F3 I,F4 I。深度特征流提取器以VGG-16网络的前1-4卷积块为为主干网络，并对VGG-16网络的第一个卷积层通道数进行修改，由原来的3修改为1，深度图像训练集经过主干网络后,得到不同尺度的具有物体轮廓细节的矩阵F1 D,F2 D,F3 D,F4 D。
高级语义融合模块首先将RGB特征提取器获取的语义特征F4 I和深度特征流提取器获得的轮廓特征F4 D分别通过分别通过一个1×1卷积和RELU激活函数，然后进行矩阵相加和RELU激活运算得到特征融合矩阵V，然后将特征融合矩阵V分别经过两个1×1卷积得到融合矩阵N，然后对融合矩阵N进行一个3×3卷积运算得到混合增强矩阵M，然后对混合增强矩阵M，再次经过一个3×3卷积运算得到混合增强矩阵H，最后将你不同阶段获得的特征矩阵N,M,H进行Concat特征堆叠操作，将堆叠后的多维特征矩阵经过一个1×1卷积，从而得到高级语义融合模块的最终输出O1。
轮廓细节融合模块将高级语义融合模块的最终输出O1先进行上采样，使得特征矩阵的通道数由512变为256，然后F4 I,F4 D分别进行上采样、1×1卷积、RELU激活，矩阵对应相加，RELU激活运算得到混合矩阵F4,F3 I,F3 D分别进行1×1卷积、RELU激活，矩阵对应相加，RELU激活运算得到混合矩阵F3,然后将F4进行1×1卷积运算后和上采样后的O1，进行矩阵对应相加，1×1卷积运算得到混合矩阵O、最后将F3进行1×1卷积并和混合矩阵O进行矩阵对应相加，得到轮廓细节融合模块的最终输出O2.
循环卷积增强模块首先将轮廓细节融合模块的最终输出O2进行上采样，3×3卷积得到特征O3,再次经过上采样，3×3卷积得到特征O4，然后将O1,O2,O3,O4分别经过一个3×3卷积，其结果将分别和F4 I,F3 I,F2 I,F1 I一起作为循环卷积块的输入，循环卷积(RCL)块的输出进行Concat特征堆叠操作，将堆叠后的多维矩阵最后经过一个1×1卷积进行降维，最终得到特征融合互补网络的输出S.
在一种方案中，特征融合互补网络采用已训练好的VGG-16网络前1-4卷积块，在提取深度流时修改其通道数为1。
在一种方案中，特征融合互补网络batch大小取值为2；学习率设置为0.00001-0.0000001。
为了验证我们提出的方法是高效的，我们将在当前七个比较流行的数据集上进行测试，分别包NLPR,STERE,NJU2000,LFSD,DES,SSD和SIP。如表格所示，SFM和DFM的性能优于当前先进的方法的实验结果，在接下来的小部分中，我们介绍我们实验的评价指标和一些实现细节，然后我们进行了一系列的消融测试，最后我们的实验效果图将在七种不同的数据集上进行测试。
表1是不同方法在多个数据集：STERE，NJU2000，LFSD，DES，SSD，SIP，NLPR上的性能比较。↑和↓分别表示越大越小越好。黑色加粗表示佳效果
图5示出了不同方法对于图像处理的效果图，图4示出了语义和细节效果对比图，可以发现，本发明的检测器通过设计基于高级语义的融合模型(SFM)和基于轮廓细节的融合模型(DFM)，两个融合模型的相互互补进一步的促进了网络提取显著性特征的能力，相比当前现有的方法，不仅仅有效促进了深度特征对显著性特征的影响，而且，高级语义信息被轮廓细节特征进行补充，同时显著性物体的特征也在自上而下的特征融中凸显越来越明显。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (3)

1.一种基于图像语义和细节的RGB-D显著性物体检测器，其特征在于，包括特征融合互补网络，特征融合互补网络的架构由RGB特征流提取器、深度特征流提取器、高级语义融合模块、轮廓细节融合模块组成，
RGB特征流提取器：由训练集RGB图像得到不同尺度的具有丰富语义特征的矩阵F1 I,深度特征流提取器：由深度图像训练集得到不同尺度的具有物体轮廓细节的矩阵F1 D,/>高级语义融合模块：将RGB特征提取器获取的语义特征/>和深度特征流提取器获得的轮廓特征/>分别进行1×1卷积、RELU激活，然后进行矩阵相加，然后进行RELU激活，得到特征融合矩阵V；将特征融合矩阵V进行两个1×1卷积得到融合矩阵N；对融合矩阵N进行3×3卷积得到混合增强矩阵M；对混合增强矩阵M进行3×3卷积得到混合增强矩阵H，将特征矩阵N,M,H进行Concat特征堆叠操作，将堆叠后的多维特征矩阵进行1×1卷积，得到高级语义融合模块的最终输出特征O1；轮廓细节融合模块：将高级语义融合模块的最终输出特征O1进行上采样；将/>分别进行上采样、1×1卷积、RELU激活，矩阵对应相加，RELU激活运算得到混合矩阵F4；将/>分别进行1×1卷积、RELU激活，矩阵对应相加，RELU激活运算得到混合矩阵F3；将F4进行1×1卷积运算后和上采样后的特征O1，进行矩阵对应相加，1×1卷积运算得到混合矩阵O；将F3进行1×1卷积并和混合矩阵O进行矩阵对应相加，得到轮廓细节融合模块的最终输出特征O2；循环卷积增强模块：将轮廓细节融合模块的最终输出特征O2进行上采样、3×3卷积得到特征O3,特征O3再经过上采样，3×3卷积得到特征O4，然后将特征O1,O2,O3,O4分别进行3×3卷积，特征O1的卷积结果和/>特征O2的卷积结果和/>特征O3的卷积结果和/>特征O4的卷积结果和F1 I共同作为循环卷积块的输入，循环卷积块的输出进行Concat特征堆叠操作，将堆叠后的多维矩阵进行1×1卷积，最终得到特征融合互补网络的输出S。
2.如权利要求1所述的基于图像语义和细节的RGB-D显著性物体检测器，其特征在于，RGB特征流提取器以VGG-16网络的前1-4卷积块为为主干网络，训练集RGB图像经过主干网络后，得到不同尺度的具有丰富语义特征的矩阵F1 I,
3.如权利要求1所述的基于图像语义和细节的RGB-D显著性物体检测器，其特征在于，深度特征流提取器以VGG-16网络的前1-4卷积块为为主干网络，主干网络的第一个卷积层通道数为1，深度图像训练集经过主干网络后,得到不同尺度的具有物体轮廓细节的矩阵F1 D,
CN202010004815.2A 2020-01-03 2020-01-03 基于图像语义和细节的rgb-d显著性物体检测器 Active CN111242181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010004815.2A CN111242181B (zh) 2020-01-03 2020-01-03 基于图像语义和细节的rgb-d显著性物体检测器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010004815.2A CN111242181B (zh) 2020-01-03 2020-01-03 基于图像语义和细节的rgb-d显著性物体检测器

Publications (2)

Publication Number Publication Date
CN111242181A CN111242181A (zh) 2020-06-05
CN111242181B true CN111242181B (zh) 2023-09-29

Family

ID=70872296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010004815.2A Active CN111242181B (zh) 2020-01-03 2020-01-03 基于图像语义和细节的rgb-d显著性物体检测器

Country Status (1)

Country Link
CN (1) CN111242181B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967477A (zh) * 2020-07-02 2020-11-20 北京大学深圳研究生院 Rgb-d图像显著性目标检测方法、装置、设备及存储介质
CN112927209B (zh) * 2021-03-05 2022-02-11 重庆邮电大学 一种基于cnn的显著性检测系统和方法
CN113344844A (zh) * 2021-04-14 2021-09-03 山东师范大学 基于rgb-d多模图像信息的目标果实检测方法及系统
CN113313077A (zh) * 2021-06-30 2021-08-27 浙江科技学院 基于多策略和交叉特征融合的显著物体检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903276A (zh) * 2019-02-23 2019-06-18 中国民航大学 基于多层融合的卷积神经网络rgb-d显著性检测方法
CN110598610A (zh) * 2019-09-02 2019-12-20 北京航空航天大学 一种基于神经选择注意的目标显著性检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699151B2 (en) * 2016-06-03 2020-06-30 Miovision Technologies Incorporated System and method for performing saliency detection using deep active contours

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903276A (zh) * 2019-02-23 2019-06-18 中国民航大学 基于多层融合的卷积神经网络rgb-d显著性检测方法
CN110598610A (zh) * 2019-09-02 2019-12-20 北京航空航天大学 一种基于神经选择注意的目标显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任凤雷 ; 何昕 ; 魏仲慧 ; 吕游 ; 李沐雨 ; .基于DeepLabV3+与超像素优化的语义分割.光学精密工程.2019,(12),全文. *
纪超 ; 黄新波 ; 曹雯 ; 朱永灿 ; 张烨 ; .基于深度学习的图像显著区域检测.激光与光电子学进展.2018,(09),全文. *

Also Published As

Publication number Publication date
CN111242181A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111242181B (zh) 基于图像语义和细节的rgb-d显著性物体检测器
CN110210539B (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN111582316B (zh) 一种rgb-d显著性目标检测方法
CN109409435B (zh) 一种基于卷积神经网络的深度感知显著性检测方法
Chen et al. EF-Net: A novel enhancement and fusion network for RGB-D saliency detection
Yang et al. Bi-directional progressive guidance network for RGB-D salient object detection
CN110689599B (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN111709306B (zh) 基于多层次时空特征融合增强的双流网络行为识别方法
CN112183240B (zh) 一种基于3d时间流和并行空间流的双流卷积行为识别方法
CN111488805B (zh) 一种基于显著性特征提取的视频行为识别方法
WO2023174098A1 (zh) 一种实时手势检测方法及装置
CN113963170A (zh) 一种基于交互式特征融合的rgbd图像显著性检测方法
CN113362307B (zh) 一种rgb-d图像显著性检测方法
CN110992320B (zh) 一种基于双重交错的医学图像分割网络
Liao et al. VLM2Scene: Self-Supervised Image-Text-LiDAR Learning with Foundation Models for Autonomous Driving Scene Understanding
CN111539434A (zh) 基于相似度的红外弱小目标检测方法
Özyurt et al. A new method for classification of images using convolutional neural network based on Dwt-Svd perceptual hash function
CN113627367B (zh) 一种基于多维信息聚合的立体视频显著性检测方法
Sowmya et al. Significance of processing chrominance information for scene classification: a review
Pan et al. Sanet++: Enhanced scale aggregation with densely connected feature fusion for crowd counting
CN112990336B (zh) 基于竞争注意力融合的深度三维点云分类网络构建方法
CN115423982A (zh) 基于图像和深度的桌面冰壶三维检测方法
CN114360034A (zh) 基于三胞胎网络的深度伪造人脸检测方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant