CN112749712B - 一种基于3d卷积神经网络的rgbd显著性物体检测方法 - Google Patents

Abstract

本发明公开了一种基于3D卷积神经网络的RGBD显著性物体检测方法，步骤包括，获取待检测图片的RGB图和深度图，并将深度图转换为三通道，将三通道的RGB图和深度图在时间维度进行串联，输出带时间维度的4D张量，将4D张量输入3D卷积神经网络中的3D编码器，输出一系列侧通路层次化特征，该3D编码器为一个在时间维度膨胀后的残差网络；3D卷积神经网络中的3D解码器接收层次化特征，对其进行压缩、递归解码、激励，最终输出RGBD显著性物体检测结果，递归解码时所述一系列侧通路层次化特征在时间维度进行串联。本发明利用3D卷积构建具有预融合功能的编码器，同时利用3D卷积构建具有融合功能的解码器，同时利用二者的融合能力充分融合跨模态特征提高检测性能。

Description

一种基于3D卷积神经网络的RGBD显著性物体检测方法

技术领域

本发明涉及图像处理与计算机视觉技术领域，特别涉及一种基于3D卷积神经网络的RGBD显著性物体检测方法。

背景技术

显著性物体检测(Salient object detection，SOD)旨在模仿人的视觉系统，在场景中检测吸引人眼注意力的物体。显著性物体检测具有广泛的应用场景，如物体分割与识别、视频检测与处理、内容相关的图像与视频压缩，目标跟踪等。迄今为止，虽然显著性物体检测技术因深度学习的发展取得了长足的进步，但单一模态的SOD仍然在很多场景下面临挑战，例如极其相似的前景与背景、复杂的前景或背景等。RGBD——即输入为单张RGB彩色图像及其对应的场景深度(Depth)图的多模态显著性物体检测技术一定程度上能克服上述问题，因此最近受到较多关注与研究。

如图2所示，目前现有RGBD显著性检测神经网络模型可以分为三类，第一类模型双流网络使用了CNN卷积神经网络从RGB和深度图中分别单独提取特征，在解码器中完成两种模态的特征融合，为了实现有效的跨模态融合，需要精心设计复杂或特殊的模块进行同时融合和解码。第二类模型孪生网络利用了共享权值的孪生网络作为编码器来对RGB和深度图进行特征提取，但是因为编码阶段没有融合操作，仍带来了类似于模型一的提取结果。例如公开号为CN111242173的一种基于孪生网络的RGBD显著性物体检测方法中，公开了孪生网络和解码器结构的“孪生网络-解码器”神经网络。第三类模型输入融合网络采用了“输入融合策略”，在将RGB和深度图输入编码器之前在通道维度对其进行串联，然后输入一个CNN卷积神经网络的编码器，在这种情况下，输入到解码器的所有成分都是已经融合的特征，编码器完成了主要的融合操作，这使得解码器无法进行显式的跨模态融合。上述几种模型虽然都采用了编码器-解码器结构，但只在编码器或者解码器阶段之一进行特征融合，而并没有同时利用二者的融合能力，而特征提取和融合对于编码器-解码器结构的RGBD显著性物体检测的神经网络来说至关重要，跨模态特征融合不够充分，将导致最终显著性检测结果不够精确。

发明内容

针对上述只在编码器或者解码器阶段之一进行特征融合，而并没用同时利用二者的融合能力，跨模态特征融合不够充分，而导致最终显著性检测结果不够精确的问题，本发明提出一种基于3D卷积神经网络的RGBD显著性物体检测方法，将深度信息Depth作为RGB的另一个“时间状态”，利用3D卷积构建具有预融合功能的编码器，同时利用3D卷积构建具有进一步深度融合功能的解码器，通过3D编码器和解码器构建的3D卷积神经网络来整合两种模态的信息，充分利用3D卷积可自动集成大量特征信息的优势来提高检测性能。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于3D卷积神经网络的RGBD显著性物体检测方法，包括以下步骤：

S1，获取待检测图片的RGB图和深度图，并将所述深度图转换为三通道；

S2，将三通道的RGB图和三通道的深度图，在时间维度进行串联，输出维度为T×H×W×C的4D张量，其中T、H、W、C分别表示时间、高、宽、通道维的维数；

S3，将所述4D张量输入3D卷积神经网络中的3D编码器，输出一系列侧通路层次化特征；所述3D编码器为一个在时间维度膨胀后的残差网络；所述在时间维度膨胀后的残差网络是将标准残差网络中所有2D卷积层替换为3D卷积层得到的，并且所述残差网络的卷积核在时间维度维数为3；并且，对于3D编码器中所有卷积核在进行3D卷积时，在时间维度对参数零填充和步长进行设置，以使得输出的时间维度维数为2；

S4，所述3D编码器输出的一系列侧通路层次化特征输入3D卷积神经网络中的3D解码器，所述3D解码器用于对所述一系列侧通路层次化特征进行压缩、递归解码、激励，输出RGBD显著性物体检测结果，所述递归解码过程中，所述一系列侧通路层次化特征在时间维度进行串联。

所述一系列侧通路层次化特征为f_i，其中下标i对应不同的层次，i越大表示层次越深，i越小表示层次越浅，f₀表示所得到的最浅层的特征，f_n表示所得到的最深层的特征；各f_i均为4D张量，且在时间维度维数均为2。

进一步的，所述3D解码器包括压缩模块、递归解码模块、激励层，

所述3D解码器接收到3D编码器输出的一系列侧通路层次化特征f_i后，3D解码器的压缩模块对层次化特征进行压缩，利用2D卷积将各f_i的通道维数压缩到一个统一值，然后输出压缩后的特征f_i到递归解码模块，所述统一值小于或等于各f_i的通道维数中最小的通道维数；

所述递归解码模块接收压缩模块的输出值，将压缩后的特征f_i递归解码，解码后，输出特征F₀给激励层；

所述激励层接收递归解码模块输出的特征F₀，再使用卷积运算得到通道数为1的激励，接Sigmoid层后得到最终[0,1]区间的预测结果图。

进一步的，所述递归解码模块按如下计算公式将压缩后的特征f_i递归解码，输出特征F₀：

其中

表示第i层次得到的中间特征，而F_i表示第i层次解码后的特征，DB为下采样模块，UB为上采样模块，DB和UB用于将不同层次的特征维度与第i层的特征f_i的维度进行对齐，TConcat表示在时间维度进行串联，CMA为输出与输入张量维度相同的注意力模块，该模块利用注意力机制对特征进行增强，TR则表示对时间维度进行3D卷积降维操作，用于将时间维度维数降为1；

递归开始时，首先将i的值设为n减1，所述n的值代表所述残差网络中最深的层次，将F_n的值设为等于f_n，得到

的值，其中：

再将i的值设为n减2，并利用上一步得到的F_n-1带入公式，得到

F_n-2的值；将i的值依次减小1，直到i等于0，计算出

F₀的值，其中：

进一步的，所述下采样模块，由1×3×3的3D卷积层、BatchNorm层、ReLU层依次构成。

进一步的，所述上采样模块，由双线性上采样层、1×3×3的3D卷积层、BatchNorm层、ReLU层依次构成。

作为本发明的优选方案，预先对所述3D卷积神经网络进行训练和参数优化，具体步骤包括：

S5，准备训练所用的训练图片，图片包括RGB图，深度图，相应的期望显著性图；

S6，将S5所述深度图转换为三通道，并将三通道的RGB图和三通道的深度图，在时间维度进行串联，输出维度为T×H×W×C的4D张量，其中T、H、W、C分别表示时间、高、宽、通道维的维数；

S7，将所述4D张量输入所述3D卷积神经网络，输出RGBD显著性物体检测结果；将显著性物体检测结果与所述期望显著性图带入二项交叉熵损失函数计算误差，进行误差反向传播，对3D卷积神经网络参数进行优化。

作为本发明的优选方案，所述标准残差网络ResNet包括ResNet-50结构和ResNet-101结构。

基于本发明的相同构思，还提出了一种基于3D卷积神经网络的RGBD显著性物体检测装置，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项所述的方法。

与现有技术相比，本发明的有益效果：

1、本发明提出一种基于3D卷积神经网络的RGBD显著性物体检测方法，利用3D卷积网络构建具有预融合功能的编码器，同时也利用3D卷积网络构建具有融合功能的解码器，因此编码器与解码器均具有融合功能，充分利用了3D卷积提高图片检测性能，使显著性物体检测的结果更加精确。

2、利用了3D卷积可自动集成大量特征信息的特点，能更加有效地融合RGB图和深度图的特征而无需人工设计复杂的跨模态特征融合模块来融合RGB和深度特征。

附图说明：

图1为一种基于3D卷积神经网络的RGBD显著性物体检测方法的流程图；

图2为现有RGB-D显著性检测神经网络模型和本发明3D卷积神经网络模型示意图；

图3为3D卷积神经网络的3D编码器中3D卷积过程示意图；

图4为所述3D卷积神经网络的网络结构示意图；

图5为本发明所述3D编码器输出的不同的层次化特征效果图；

图6为本发明的方法和14种现有方法的显著性检测结果对比图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

一种基于3D卷积神经网络的RGBD显著性物体检测方法，具体包括如下步骤：

步骤一，获取对3D卷积神经网络进行训练的训练图片，图片包括RGB图、深度图、相应的期望显著性图；将训练图片中的深度图转换为三通道，并将三通道的RGB图和三通道的深度图，在时间维度进行串联，形成维度为T×H×W×C的4D张量，其中T、H、W、C分别表示时间、高、宽、通道维的维数，且T等于2，C等于3；在时间维度进行串联可以理解为，将三通道的RGB图H×W×C和三通道的深度图H×W×C堆叠，作为同一张图片在时间维度的扩充；

步骤二，构建3D卷积神经网络，所述3D卷积神经网络包括由3D卷积构建的3D编码器和由3D卷积构建的3D解码器，所述3D编码器的输出作为所述3D解码器的输入。

在本实施例中，3D编码器部分基于常见的ResNet-50网络结构，为在时间维度膨胀(Inflated)后的残差网络ResNet-50，即将文献《Deep Residual Learning for ImageRecognition》中提出的标准残差网络ResNet-50中所有3×3的2D卷积层替换为3×3×3的3D卷积层，即3D编码器中所有3×3×3的卷积层的卷积核在时间维度维数为3，在进行3D卷积时在时间维度的参数零填充padding设置为1、步长stride设置为1,，3D卷积层与时间维度维数为2的4D张量T×H×W×C进行卷积计算时，输出时间维度维数为2的4D张量。而现有技术中，图2所示输入融合网络中的卷积层为2D卷积层，与不带时间维度的3D张量H×W×C进行卷积计算时，输出3D张量。

本实施例3D卷积层时间维度的计算过程示意图如图3所示，等价于如下公式：

R^O＝w₂*Rⁱ+w₃*Dⁱ

D^O＝w₁*Rⁱ+w₂*Dⁱ

其中w₁、w₂、w₃分别表示3D卷积核的三个时间权重切片。Rⁱ和Dⁱ分别表示输入RGB特征切片和深度特征切片，即图3中的RGBⁱ和Depthⁱ，R^O和D^O分别表示输出RGB特征切片和深度特征切片，即图3中的RGB^o和Depth^o；*是2D卷积操作。可以看出，3D卷积的内部融合属性有助于RGB和深度信息的融合，在经过3D卷积层时，RGB和深度线索是相互增强的。因此，使用连续的3D卷积可以实现渐进融合。具体来说，在上述公式中，RGB和深度线索通过共享权w₂来保存，同时通过可学习权w₁/w₃来增强彼此。这既实现了一定的模态感知个性，也实现了跨模态融合，即所述“预融合”功能。

如图4所示，3D编码器接收三通道RGB图和三通道深度图在时间维度进行串联后形成的4D张量，经上述卷积层处理后输出一系列侧通路层次化特征f_i，其中下标i对应不同的层次，i越大表示层次越深，i越小表示层次越浅，f₀为所得到的最浅层的特征，f_n表示所得到的最深层的特征；各f_i均为4D张量，且在时间维的维数均为2；本实施例残差网络ResNet-50中的残差模块数量为5，共5个层次，故i的取值范围为0-4；如图5所示，为了使预融合的影响在视觉上更加明显，将不匹配的RGB和深度图像输入编码器，可以明显地看见两种模态的信息在不同层次的特征图中的融合效果。

3D解码器包括压缩模块、递归解码模块、激励层。

所述压缩模块接收3D编码器输出的层次化特征并对其进行压缩，利用2D卷积将各f_i的通道维数压缩到一个统一值，然后输出压缩后的特征f_i到递归解码模块，所述统一值小于或等于各f_i的通道维数中最小的通道维数，如32或64等，用于简化后续的解码操作并节约计算量；

所述递归解码模块接收压缩模块的输出值，将压缩后的特征f_i按如下步骤进行递归解码输出F₀：

S8，将最深层次输出的解码后的特征设为最深层次的压缩后的特征；本实施例将最深层次第4层输出的解码后的特征F₄的值设为最深层次第4层的压缩后的特征f₄；

S9，从次深层次开始逐渐融合层次较浅的压缩后的特征和较深层次输出的解码后的特征，得到一个迭代的最终的解码特征，具体操作包括：

对上一个较深层次输出的解码后的特征使用上采样模块进行上采样编码，对比本层次更浅的所有层次的压缩后的特征均使用下采样模块进行下采样编码，用于将较深层次输出的解码后的特征和更浅的所有层次的压缩后的特征的维度与本层的特征维度对齐，然后将对齐后的各层次特征值进行时间维度的串联，即融合操作，输出一个本层次的中间特征，将中间特征用注意力机制对特征进行增强，然后进行时间降维操作，得到本层次解码后的特征，将其输入给下一个较浅层次；下一个较浅层次同样执行S9步骤；

例如当i等于3，对第3层进行特征融合时，先对上一个较深层次输出的解码后的特征即F₄使用上采样模块进行上采样编码，对比本层次更浅的所有层次的压缩后的特征即f₀、f₁、f₂均使用下采样模块进行下采样编码，用于将较深层次输出的解码后的特征F₄和更浅的所有层次的压缩后的特征f₀、f₁、f₂的维度与本层的特征f₃维度对齐，然后将对齐后的各层次特征值F₄、f₀、f₁、f₂、f₃进行时间维度的串联，即融合操作，输出一个中间特征

将中间特征

用注意力机制对特征进行增强，然后进行时间降维操作，得到本层次解码后的特征F₃，将F₃输入给下一个较浅层次即第2层；

S10，最浅层次第0层因为没有比其更浅层的层次，上一个较深层次即第1层输出的解码后的特征F₁使用上采样模块进行上采样编码后，因此将本层次的压缩后的特征f₀与上采样编码后的特征值F₁进行时间维度的串联，即融合操作，输出一个中间特征

将中间特征

用注意力机制对特征进行增强，然后进行时间降维操作，得到本层次解码后的特征F₀，作为最终的解码特征输出。

上述步骤可以用如下公式来表示：

再次参考图4，其中DB表示下采样模块，由1×3×3的3D卷积层/3D Conv、BatchNorm层/BN层、ReLU层依次构成；和现有技术中其连接将信息从低分辨率层次(深层次)传输到高分辨率层次(浅层次)不同，如图4中指示DB过程的向下的箭头所示，DB模块将从高到低分辨率的层次特征的下采样流融合起来，利用3D卷积的聚合能力，将丰富的特征信息从高分辨率层次(浅层次)传输到低分辨率层次(深层次)，丰富了深层次特征的表现，这种与现有技术相反的反向传输方法可称为RBPP，使用RBPP的3D解码器的另一个优点是其计算和存储效率更高。

UB表示上采样模块，由双线性上采样层Unsample、1×3×3的3D卷积层/3D Conv、BatchNorm层/BN层、ReLU层依次构成，对某一层解码后的特征输出进行上采样编码。DB和UB将不同层次的特征维度与f_i的维度进行对齐。

CMA为文献《Squeeze-and-excitation Networks》中提出的通道注意力模块，输出与输入张量维度相同，该模块利用注意力机制对特征进行增强。

TConcat表示在时间维度进行串联，TR则表示对时间维度进行3D卷积降维操作，用于将时间维度维数降为1。

表示第i层次得到的中间特征，而F_i表示第i层次解码后的特征。上述公式进行递归运算时，首先需要将F_n的值设为等于f_n，n的值为所述残差网络中最深的层次；在计算F₀时不再需要对f₀进行下采样。

在本实施例中，由于残差模块数量为5，共5个层次，递归开始时首先将i的值设为3，将F₄的值设为等于f₄，得到

F₃的值：

再将i的值设为2，并利用上一步得到的F₃带入公式，得到

F₂的值；以此类推，将i的值依次减小1，直到i等于0，计算出

F₀的值：

解码后，输出特征F₀给激励层；

所述激励层接收递归解码模块输出的特征F₀，再使用(1×1×1,1)的卷积运算得到通道数为1的激励，接Sigmoid层后得到最终[0,1]区间的预测结果图。

步骤三，将步骤一所述张量输入步骤二中构建的3D卷积神经网络，输出RGBD显著性物体检测结果；将显著性物体检测结果与期望显著性图带入二项交叉熵损失函数计算误差，并进行误差反向传播，对3D卷积神经网络参数进行优化。

实施例2

本实施例利用实施例1训练好的3D卷积神经网络，通过图像缩放，将待检测图片的高H和宽W设置为352，输入该待检测图片的RGB图和深度图，得到显著性物体检测结果，如图1所示，具体步骤包括：

步骤一，获取待检测图片的RGB图和深度图，并将深度图转换为三通道；其中将单通道深度图转换为三通道时采用通道复制的方式；

步骤二，将三通道的RGB图和三通道的深度图，在时间维度进行串联，形成维度为T×H×W×C的4D张量，其中T等于2、C等于3；本实施例中，所得4D张量维度为2×352×352×3；

步骤三，将上述4D张量输入所述3D卷积神经网络中的3D编码器。同实施例1，该3D编码器残差网络ResNet-50一共具有5个残差模块，表示为res0～res4，分别对应文献《DeepResidual Learning for Image Recognition》中的conv1,conv2_x,conv3_x,conv4_x,conv5_x；3D编码器接收步骤二所述4D张量，输出5个层次的特征f₀～f₄，本实施例输出f₀～f₄张量的维度分别为2×176×176×64，2×88×88×256，2×44×44×512，2×22×22×1024，2×11×11×2048。

步骤四，将步骤三输出的5个层次化特征输入3D解码器，得到预测结果。具体步骤如下：

S11，首先压缩模块进行特征压缩，利用2D卷积将各f_i的通道维数压缩到一个统一值，本实施例中统一值设为32，用于简化后续的解码操作并节约计算量。经过降维后，f₀～f₄张量的维度分别为2×176×176×32，2×88×88×32，2×44×44×32，2×22×22×32，2×11×11×32。

S12，将S11所述压缩后的特征f_i带入如下公式进行递归解码：

其中DB、UB、CMA、TConcat、TR均与实施例1中相同。

表示第i层次得到的中间特征，而F_i表示第i层次解码后的特征。依照上述递归公式构建的3D解码器同实施例1，如图4所示。

具体地，本实施例中进行递归解码时i∈{3,2,1,0}，且F₄＝f₄。递归解码模块将压缩后的特征f_i如实施例1中的方法按上述公式递归解码后，输出特征F₀给激励层；

S13，激励层接收递归解码模块输出的特征F₀，由(1×1×1,1)的卷积得到通道数为1的激励，接Sigmoid层后得到最终[0,1]区间的预测结果图。

本实施例中，由F₀得到的结果图空间分辨率与f₀相同，为176×176,最后再通过图像缩放调整至原图分辨率。

利用本方法得到的显著性物体检测结果与其他常见方法的效果对比如图6所示，其中，AFNet/CTMF/PCF/MMCI/CPFP/D3Net/DMRA/SSF/A2dele/JLDCF/UCNet/CoNet/cmMS/DANet为现有的14种SOTA深度学习RGBD显著性物体检测模型，本实施例得到的RGBD显著性检测结果和14种现有方法的结果相比更加准确。

本文所述的一个或多个实施方案涉及计算机存储产品，所述计算机存储产品具有用于执行各种计算机实现的操作的指令或计算机代码的非暂时性计算机可读介质(也可称为非暂时性处理器可读介质)。计算机可读介质(或处理器可读介质)在其本身不包括暂时传播信号(例如，在诸如空间或电缆的传输介质上承载信息的传播电磁波)的意义上是非暂时性的。介质和计算机代码(也可称为代码或算法)可以是为特定目的而设计和构造的那些代码或算法。非暂时性计算机可读存储介质的实例包括但不限于：磁性介质，诸如硬盘、软盘和磁带；光学介质，诸如压缩盘/数字视频盘(CD/DVD)、压缩盘只读存储器(CD-ROM)和全息装置；磁光存储介质，诸如光盘；载波信号处理模块；以及专门被配置用于存储和执行程序代码的硬件装置，诸如专用集成电路(ASIC)、可编程逻辑装置(PLD)、只读存储器(ROM)以及随机存取存储器(RAM)装置。本文所述的其他实施方案涉及计算机程序产品，所述计算机程序产品可包括例如本文所公开的指令和/或计算机代码。

本文所述的一个或多个实施方案和/或方法可由软件(在硬件上执行)、硬件或其组合来执行。硬件模块可包括例如通用处理器(或微处理器或做控制器)、现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)。软件模块(在硬件上执行)可用多种软件语言(例如计算机代码)表达，包括C、C++、

Ruby、Visual

和/或其他面向对象、过程或其他编程语言和开发工具。计算机代码的实例包括但不限于做代码或做指令、诸如由编译器产生的机器指令、用于产生网页服务的代码以及包含由使用解释器的计算机执行的更高级指令的文件。计算机代码的其他实例包括但不限于控制信号、加密的代码和压缩的代码。虽然上文已经描述各种实施方案，但应了解，所述实施方案仅以举例的方式而不是以限制性的方式来呈现。虽然如上所述的方法指示某些事件以一定顺序发生，但是某些事件的排序可变化。另外，某些事件在可能的情况下可在并行过程中同时执行，以及如上所述依序执行。

Claims (9)

1.一种基于3D卷积神经网络的RGBD显著性物体检测方法，其特征在于，包括以下步骤：

S1，获取待检测图片的RGB图和深度图，并将所述深度图转换为三通道；

S2，将三通道的RGB图和三通道的深度图，在时间维度进行串联，输出维度为T×H×W×C的4D张量，其中T、H、W、C分别表示时间、高、宽、通道维的维数；

S3，将所述4D张量输入3D卷积神经网络中的3D编码器，输出一系列侧通路层次化特征；所述3D编码器为一个在时间维度膨胀后的残差网络；所述在时间维度膨胀后的残差网络是将标准残差网络中所有2D卷积层替换为3D卷积层得到的，并且所述残差网络的卷积核在时间维度维数为3；并且，对于3D编码器中所有卷积核在进行3D卷积时，在时间维度对参数零填充和步长进行设置，以使得输出的时间维度维数为2；

S4，所述3D编码器输出的一系列侧通路层次化特征输入3D卷积神经网络中的3D解码器，所述3D解码器用于对所述一系列侧通路层次化特征进行压缩、递归解码、激励，输出RGBD显著性物体检测结果，所述递归解码过程中，所述一系列侧通路层次化特征在时间维度进行串联。

2.如权利要求1所述的一种基于3D卷积神经网络的RGBD显著性物体检测方法，其特征在于，所述一系列侧通路层次化特征为f_i，其中下标i对应不同的层次，i越大表示层次越深，i越小表示层次越浅，f₀表示所得到的最浅层的特征，f_n表示所得到的最深层的特征；各f_i均为4D张量，且在时间维度维数均为2。

3.如权利要求2所述的一种基于3D卷积神经网络的RGBD显著性物体检测方法，其特征在于，所述3D解码器包括压缩模块、递归解码模块、激励层，

所述3D解码器接收到3D编码器输出的一系列侧通路层次化特征f_i后，3D解码器的压缩模块对层次化特征进行压缩，利用2D卷积将各f_i的通道维数压缩到一个统一值，然后输出压缩后的特征f_i到递归解码模块，所述统一值小于或等于各f_i的通道维数中最小的通道维数；

所述递归解码模块接收压缩模块的输出值，将压缩后的特征f_i递归解码，解码后，输出特征F₀给激励层；

所述激励层接收递归解码模块输出的特征F₀，再使用卷积运算得到通道数为1的激励，接Sigmoid层后得到最终[0,1]区间的预测结果图。

4.如权利要求3所述的一种基于3D卷积神经网络的RGBD显著性物体检测方法，其特征在于，所述递归解码模块按如下计算公式将压缩后的特征f_i递归解码，输出特征F₀：

其中

表示第i层次得到的中间特征，而F_i表示第i层次解码后的特征，DB为下采样模块，UB为上采样模块，DB和UB用于将不同层次的特征维度与第i层的特征f_i的维度进行对齐，TConcat表示在时间维度进行串联，CMA为输出与输入张量维度相同的注意力模块，该模块利用注意力机制对特征进行增强，TR则表示对时间维度进行3D卷积降维操作，用于将时间维度维数降为1；

递归开始时，首先将i的值设为n减1，所述n的值代表所述残差网络中最深的层次，将F_n的值设为等于f_n，得到

和F_n-1的值，其中：

再将i的值设为n减2，并利用上一步得到的F_n-1带入公式，得到

F_n-2的值；将i的值依次减小1，直到i等于0，计算出

和F₀的值，其中：

5.如权利要求4所述的一种基于3D卷积神经网络的RGBD显著性物体检测方法，其特征在于，所述下采样模块，由1×3×3的3D卷积层、BatchNorm层、ReLU层依次构成。

6.如权利要求4所述的一种基于3D卷积神经网络的RGBD显著性物体检测方法，其特征在于，所述上采样模块，由双线性上采样层、1×3×3的3D卷积层、BatchNorm层、ReLU层依次构成。

7.如权利要求1所述的一种基于3D卷积神经网络的RGBD显著性物体检测方法，其特征在于，预先对所述3D卷积神经网络进行训练和参数优化，具体步骤包括：

S5，准备训练所用的训练图片，图片包括RGB图，深度图，相应的期望显著性图；

S6，将S5所述深度图转换为三通道，并将三通道的RGB图和三通道的深度图，在时间维度进行串联，输出维度为T×H×W×C的4D张量，其中T、H、W、C分别表示时间、高、宽、通道维的维数；

S7，将所述4D张量输入所述3D卷积神经网络，输出RGBD显著性物体检测结果；将显著性物体检测结果与所述期望显著性图带入二项交叉熵损失函数计算误差，进行误差反向传播，对3D卷积神经网络参数进行优化。

8.如权利要求1所述的一种基于3D卷积神经网络的RGBD显著性物体检测方法，其特征在于，所述标准残差网络ResNet包括ResNet-50结构和ResNet-101结构。

9.一种基于3D卷积神经网络的RGBD显著性物体检测装置，其特征在于，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行权利要求1至8中任一项所述的方法。

Images