CN110610185B - 图像的显著目标的检测方法、装置及设备 - Google Patents

Abstract

本申请公开了一种图像的显著目标的检测方法，包括：确定待检测显著目标的图像；获得所述图像的至少两个卷积级别的卷积特征；对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。以解决现有的图像的显著目标的检测技术难以得到理想的显著目标的检测结果的问题。

Description

图像的显著目标的检测方法、装置及设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像的显著目标的检测方法、装置、电子设备以及存储设备。本申请还涉及第二种图像的显著目标的检测方法、装置、电子设备以及存储设备。

背景技术

图像是重要的信息载体，定位一幅图像的显著目标以获得人们感兴趣的信息尤为重要。图像的显著目标的检测方法是为了代替或部分代替人眼视觉功能来定位一幅图像的显著目标，常应用于目标跟踪、行人再识别以及图像场景分类等领域。所谓显著目标，是图像中最受人眼关注的区域。

目前，卷积神经网络应用于图像的显著目标的检测技术，一般会融合图像的多级别卷积特征，但是这些卷积特征对于图像的显著目标的检测的重要程度不同，有些卷积特征还会产生干扰。因此，现有的图像的显著目标的检测技术难以得到理想的显著目标的检测结果。

发明内容

本申请提供图像的显著目标的检测方法，以解决现有的图像的显著目标的检测技术难以得到理想的显著目标的检测结果的问题。

本申请提供一种图像的显著目标的检测方法，包括：

确定待检测显著目标的图像；

获得所述图像的至少两个卷积级别的卷积特征；

对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；

根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

确定所述卷积特征的通道注意向量，所述通道注意向量用于为卷积特征的通道赋予权重；

确定所述卷积特征的空间注意图，所述空间注意图用于为卷积特征的空间位置赋予权重；

根据所述通道注意向量和所述空间注意图，得到不同注意阶段的注意性特征。

可选的，所述确定所述卷积特征的通道注意向量，包括：

确定所述卷积特征的不同通道的聚合特征；

对所述聚合特征的每个通道应用Softmax操作，得到所述卷积特征的通道注意向量，所述Softmax操作为柔性化最大值归一操作；若以a_c表示所述通道注意向量，则

若以u(i)表示第i个通道的聚合特征，则u(i)在a_c上对应的权重为：/>

其中，i表示第i个通道，i∈{1,...,C}；

满足所有通道的权重之和为1。

可选的，所述确定所述卷积特征的不同通道的聚合特征包括：

展开所述卷积特征，得到所述卷积特征的每个通道切片，在每个通道切片上应用均值池化操作，得到由数值构成的每个通道的第一特征向量；

根据所述第一特征向量得到所述卷积特征的不同通道的聚合特征。

可选的，按照下述公式得到所述卷积特征的不同通道的聚合特征：

u＝W_c*v+b_c；

其中，u为所述卷积特征的不同通道的聚合特征；

*表示卷积操作；

W_c表示卷积滤波器；

b_c表示偏置参数；

v表示第一特征向量，若以i表示第i个通道，i∈{1,...,C}，C为特征通道个数，以f表示所述卷积特征，将卷积特征f展开成f＝[f₁,f₂,...,f_C]，

是特征f的第i个通道切片，则在每个f_i上应用均值池化操作得到由数值构成的所述卷积特征的通道特征向量v，

可选的，所述确定所述卷积特征的空间注意图，包括：

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征，确定所述卷积特征的空间注意图。

可选的，所述根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征，包括：

将所述通道注意向量应用到所述卷积特征的每个通道切片中，得到每个通道的通道级别注意性特征。

可选的，按照下述公式得到每个通道的通道级别注意性特征：

其中，i表示第i个通道，i∈{1,...,C}；

为第i个通道的通道级别注意性特征；a_c为所述通道注意向量，/>

f_i为所述卷积特征的第i个通道切片。

可选的，所述根据所述不同通道的通道级别注意性特征，确定所述卷积特征的空间注意图，包括：

将所述不同通道的通道级别注意性特征作为第二卷积特征；

根据所述第二卷积特征，确定所述第二卷积特征的空间聚合特征；

对所述空间聚合特征按空间点应用Softmax操作，得到所述第二卷积特征的空间注意图，所述第二卷积特征的空间注意图为所述所述卷积特征的空间注意图，所述Softmax操作为柔性化最大值归一操作；若用a_s表示所述空间注意图，用m(l)表示空间位置l处的特征向量，则m(l)在a_s上对应的权重为：

其中，

满足空间所有点的权重之和为1。

可选的，按照下述公式，确定所述第二卷积特征的空间聚合特征：

m＝W_s*f+b_s；

其中，m为所述第二卷积特征的空间聚合特征，

i^W×H表示第二卷积特征的空间，以(x,y)表示空间点的坐标，则所述空间中空间点的几何定义为L＝{(x,y)|x＝1,...,W；y＝1,...,H}；

f表示所述第二卷积特征，则

C为所述第二卷积特征的通道数；

W_s为卷积滤波器；

b_s表示偏置参数；

*表示卷积操作。

可选的，所述根据所述通道注意向量和所述空间注意图，得到不同注意阶段的注意性特征，包括：

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

将空间注意图应用于所述通道级别的注意性特征，得到不同注意阶段的注意性特征。

可选的，按照下述公式得到所述卷积特征的注意性特征：

其中，f^csa为卷积级别的注意性特征；

a_s为所述空间注意图；

表示通道级别的哈达玛积乘法操作；

f^ca为所述通道级别的注意性特征。

可选的，所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

根据所述卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征，得到空间注意图；

根据所述空间注意图，得到所述卷积特征的注意性特征。

可选的，所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

根据所述卷积特征，得到空间注意图；

根据所述卷积特征，得到所述积特征的通道注意向量，所述通道注意向量用于为卷积特征的通道赋予权重；

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

将所述空间注意图应用于所述卷积特征的不同通道的通道级别注意性特征，得到所述卷积特征的注意性特征。

可选的，所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对相邻浅层卷积级别的卷积特征进行引导，得到第一引导特征；

对第一引导特征进行注意性处理，得到第二阶段注意性特征。

可选的，所述对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征，包括：

将所述非最浅层卷积级别的卷积特征，作为当前卷积特征；

根据所述当前卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述当前卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征进行注意性处理，得到空间注意图；

根据所述空间注意图，得到所述第一阶段注意性特征。

可选的，按照下述公式得到第一引导特征：

其中，L为所述非最浅层卷积级别，表示第L个卷积模块，L-1表示L的相邻浅层卷积模块，即第L-1个卷积模块；

S_L-1为第L-1个卷积模块侧输出的卷积特征；

为第L个卷积模块的注意性特征；

表示对特征图/>

进行2倍的上采样；

表示元素级别的加操作；

为用第L个卷积模块的注意性特征对第L-1个卷积模块侧输出的卷积特征引导后得到的对应第L-1个卷积模块的引导特征，/>

作为所述第一引导特征。

可选的，所述对第一引导特征进行注意性处理，得到第二阶段注意性特征，包括：

将第一引导特征作为当前卷积特征；

根据所述当前卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述当前卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征进行注意性处理，得到空间注意图；

根据所述空间注意图，得到所述第二阶段注意性特征，所述第二阶段注意性特征可以用于引导所述第二阶段注意性特征对应的卷积模块的相邻浅层的卷积特征，准备获得第三阶段的注意性特征。

可选的，所述L为5；

所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

对第5级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对第4级别的卷积特征进行引导，得到第一引导特征；

对第一引导特征进行注意性处理，得到第二阶段注意性特征；

使用第二阶段注意性特征对第3级别的卷积特征进行引导，得到第二引导特征；

对第二引导特征进行注意性处理，得到第三阶段注意性特征；

所述根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图，包括：

根据第三阶段注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述获得所述图像的至少两个卷积级别的卷积特征，包括：使用删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络获得所述图像的至少两个卷积级别的卷积特征。

可选的，所述删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络包含至少两个级别的卷积模块；

所述获得所述图像的至少两个卷积级别的卷积特征，包括：使用删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络的每个级别的卷积模块，获得分别对应每个级别的卷积模块的卷积特征；

所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对所述非最浅层的相邻浅层卷积级别的卷积特征进行引导，得到第一引导特征，对第一引导特征进行注意性处理，得到第二阶段注意性特征。

可选的，所述至少两个级别的卷积模块包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；

其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含四个卷积层，所述第四级别卷积模块包含四个卷积层，所述第五级别卷积模块包含四个卷积层。

可选的，所述卷积模块的卷积特征，为由所述卷积模块侧输出得到的卷积特征。

可选的，所述图像的显著目标的检测方法，还包括：

使用所述不同阶段的注意性特征预测图像的显著图；

使用所述图像的真值图监督用于产生不同阶段的注意性特征的卷积神经网络。

本申请还提供一种图像的显著目标的检测方法，包括：

确定待检测显著目标的图像；

按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征；

对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；

根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述引入至少一次递归连接的卷积神经网络，为将一个时刻的时间步网络的最深层的卷积特征，递归连接到下一个时刻的时间步网络的相应浅层网络的输入，将所述最深层的卷积特征和所述浅层网络的原输入进行融合的卷积神经网络；

所述按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络，包括：按照时间步展开所述引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

所述至少两个时间步网络中的第一时间步网络为提供递归量的卷积层所在的卷积神经网络；

所述至少两个时间步网络中的第二时间步网络为被引入递归连接的卷积层所在的卷积神经网络，被引入递归连接的卷积层为隐层；

所述使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征，包括：

使用第一时间步网络获得所述图像的第一卷积特征；

根据所述第一卷积特征，使用第二时间步网络获得所述图像的第二卷积特征；

所述对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征，包括：

对第二卷积特征进行注意性处理，得到所述图像的第二时间步网络的不同注意阶段的注意性特征；

所述根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图，包括：

根据第二注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，按照下述公式得到所述第二卷积特征：

其中，N(·)表示使用l₂范数进行归一化的操作；

表示t-1时刻最深层的卷积特征；

W_l为第一个卷积层的卷积核；

为第一卷积层的偏置参数；

为所述隐层的卷积核，所述/>

随着时间变化；

为所述隐层的卷积层的偏置参数，所述/>

是随着时间变化的；

R＝{r_m|m＝1,...M}为所述隐层的层的集合，r_m∈{1,...,L}为对应的层的索引。

可选的，所述引入至少一次递归连接的卷积神经网络，包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；

其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含四个卷积层，所述第四级别卷积模块包含四个卷积层，所述第五级别卷积模块包含四个卷积层；

引入递归连接层的层的集合为：

R＝{conv5_1,conv4_1,conv3_1}，

其中，conv5_1为第五级别卷积模块的第一层，conv4_1为第四级别卷积模块的第一层，conv3_1为第三级别卷积模块的第一层。

可选的，所述根据所述图像的至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图，包括：

根据所述至少两个时间步网络的最后一个时间步网络的最后一个注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述图像的显著目标的检测方法，还包括：

使用所述不同注意阶段的注意性特征预测图像的显著图；

在不同注意阶段使用所述图像的真值图监督所述卷积神经网络。

可选的，所述使用所述图像的真值图监督所述卷积神经网络，包括：

采用像素级别的交叉熵损失函数进行监督。

可选的，所述交叉熵损失函数为：

其中，

各参数含义如下：

(i,j)表示空间位置，t表示时刻t，则t时刻第l个注意阶段输出的显著图以Z^lt表示；

l_g∈{0,1}表示真值标签；

1(·)表示指示函数，当满足条件时，该值为1，否则为0；

Θ表示整个网络的参数；

Pr(l_i，j＝l_g|Θ)表示预测的得分。

本申请还提供一种图像的显著目标的检测装置，包括：

图像确定单元，用于确定待检测显著目标的图像；

卷积特征获取单元，用于获得所述图像的至少两个卷积级别的卷积特征；

注意单元，用于对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；

显著图确定单元，用于根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

本申请还提供一种图像的显著目标的检测装置，包括：

图像确定单元，用于确定待检测显著目标的图像；

时间步展开单元，用于按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

卷积特征获取单元，用于使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征；

注意单元，用于对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；

显著图确定单元，用于根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

本申请还提供一种电子设备，包括：

存储器，以及处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

确定待检测显著目标的图像；

获得所述图像的至少两个卷积级别的卷积特征；

对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；

根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

本申请还提供一种电子设备，包括：

存储器，以及处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

确定待检测显著目标的图像；

按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征；

对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；

根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

本申请还提供一种存储设备，存储有指令，所述指令能够被处理器加载并执行以下步骤：

确定待检测显著目标的图像；

获得所述图像的至少两个卷积级别的卷积特征；

对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；

根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

本申请还提供一种存储设备，存储有指令，所述指令能够被处理器加载并执行以下步骤：

确定待检测显著目标的图像；

按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征；

对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；

根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

与现有技术相比，本申请具有以下优点：

本申请提供的一种图像的显著目标的检测方法，通过对图像的不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图，在获得显著图时能够滤除背景中的干扰信息，从而解决了难以得到理想的显著目标检测结果的问题。

本申请提供的第二种图像的显著目标的检测方法，通过在用于检测显著目标的卷积神经网络中引入至少一次递归连接，展开后得到至少两个时间步网络；对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图，实现了递归引导的作用，将深层的信息自适应的引导给浅层特征的学习，能够输出更有效的特征，解决了难以得到理想的显著目标检测结果的问题。

附图说明

图1是本申请第一实施例提供的图像的显著目标的检测方法的处理流程图；

图2是本申请第一实施例包含的一种卷积神经网络的网络层次示意图；

图3是本申请第一实施例包含的一种卷积神经网络的结构示意图；

图4是本申请第一实施例包含的一种注意单元的结构示意图；

图5是本申请第二实施例提供的图像的显著目标的检测方法的处理流程图；

图6本申请第二实施例包含的一种引入递归连接的卷积神经网络的结构示意图；

图7本申请第二实施例包含的两种时间步网络的结构示意图；

图8是本申请第三实施例提供的图像的显著目标的检测装置的示意图；

图9是本申请第四实施例提供的图像的显著目标的检测装置的示意图；

图10是本申请第五实施例提供的电子设备的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

本申请提供一种图像的显著目标的检测方法、装置、电子设备及存储设备。本申请同时涉及第二种图像的显著目标的检测方法、装置、电子设备及存储设备。在下面的实施例中逐一进行详细说明。

本申请第一实施例提供一种图像的显著目标的检测方法。

以下结合图1至图4对本申请第一实施例提供的一种图像的显著目标的检测方法进行说明。

图1所示的图像的显著目标的检测方法，包括：步骤S101至步骤S104。

步骤S101，确定待检测显著目标的图像。

本申请第一实施例提供的图像的显著目标的检测方法，利用多层卷积神经网络检测图像的显著目标，能代替或部分代替人眼视觉功能来获取图像中人们感兴趣的信息，可以为后续更高层次的图像检测处理做准备。

本实施例中，包含以VGG-19卷积神经网络为基础设计的多卷积级别的卷积神经网络，对不同卷积级别的卷积特征进行注意性处理，得到不同阶段的注意性特征，通过引入注意机制为图像的卷积特征赋予权重，在显著目标检测过程中融合卷积特征的同时滤除背景中的干扰信息，从而能够得到最有效的特征表达，产生像素级别的理想的显著目标检测结果。

所谓浅层卷积级别和深层卷积级别，是按照卷积神经网络的输入的传输方向的网络层次意义上的浅层卷积级别或深层卷积级别，相对于一个层次的卷积级别，沿网络浅层方向的相邻的卷积级别称为相邻浅层卷积级别，沿网络深层方向的相邻的卷积级别称为相邻深层卷积级别。例如，图2示出了本申请实施例的卷积神经网络的网络层次，图中包含Conv1、Conv2、Conv3、Conv4、Conv5共五个级别的卷积模块，沿输入图像→Conv1→Conv2→Conv3→Conv4→Conv5的传输方向为网络深层方向，沿Conv5→Conv4→Conv3→Conv2→Conv1的传输方向为网络浅层方向，以Conv2为例，Conv1为Conv2的相邻浅层卷积级别，Conv3为Conv2的相邻深层卷积级别。

本步骤是确定待检测显著目标的图像。

所述图像作为卷积神经网络的输入，输入到卷积网络中以便后续提取所述图像的卷积特征。

步骤S102，获得所述图像的至少两个卷积级别的卷积特征。

本步骤是获得图像的多个卷积级别的卷积特征，所述卷积特征为深度特征，可以是包含图像的显著目标的上下文信息的特征，所述上下文信息为图像中与显著目标相邻的部分或全部信息。

本实施例中，卷积神经网络中每个卷积级别的卷积模块处理后得到相应卷积级别的卷积特征。沿用图2所示的卷积神经网络的例子，将一幅图像A输入到图示的卷积神经网络的卷积模块Conv1，Conv1处理后得到图像A的第一卷积级别的卷积特征，也是最浅层卷积级别的卷积特征，沿输入图像→Conv1→Conv2→Conv3→Conv4→Conv5的传输方向，每个级别的卷积模块处理后得到相应卷积级别的卷积特征，例如，Conv2处理后得到的信息是第二卷积级别的卷积特征，Conv5处理后得到的信息是第五卷积级别的卷积特征，对于图示这个包含五个级别的卷积神经网络来说，得到的第五卷积级别的卷积特征就是最深卷积级别的卷积特征。

本申请实施例中，包含基于VGG-19卷积神经网络设计的能够更好的适应于检测图像的显著目标的卷积神经网络。所谓VGG-19卷积神经网络，是一种深度卷积神经网络模型，包括16个卷积层和3个全连接层。

本申请实施例设计的应用于图像的显著目标检测的卷积神经网络，为删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络，包含至少两个级别的卷积模块，从所述至少两个级别的卷积模块中可以提取多尺度卷积特征，以便后续得到不同注意阶段的注意性特征。删除VGG-19卷积神经网络的所有全连接层可以实现像素级别的显著目标的预测；删除最后一个级别的池化层能够使得输出尺度不会过小。相应的，本步骤为使用删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络获得所述图像的至少两个卷积级别的卷积特征。

一个优选实施方式包括：所述删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络包含至少两个级别的卷积模块；相应的后续处理包括：使用删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络的每个级别的卷积模块，获得分别对应每个级别的卷积模块的卷积特征，其中，所述卷积模块的卷积特征，可以是由所述卷积模块侧输出得到的卷积特征；对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征；使用第一阶段注意性特征对所述非最浅层的相邻浅层卷积级别的卷积特征进行引导，得到第一引导特征，对第一引导特征进行注意性处理，得到第二阶段注意性特征。如果所述删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络包含多于两个级别的卷积模块，则可以使用第二阶段注意性特征对所述非最浅层的次相邻浅层卷积模块的卷积特征进行引导得到第二引导特征，对第二引导特征进行处理，得到第三阶段注意性特征。通过逐步的渐进性的产生注意性特征，可以达到有选择的从多尺度卷积特征中引入上下文信息的目的，对特征进行从粗糙到精细的逐步改善，从而有助于得到图像的理想的显著目标。

优选的，所述至少两个级别的卷积模块包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；

其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含四个卷积层，所述第四级别卷积模块包含四个卷积层，所述第五级别卷积模块包含四个卷积层。优选的，所述五个级别的卷积模块提供多尺度卷积特征。

举例如下：图3示出了本申请第一实施例包含的一种卷积神经网络的结构示意图，图中深度特征提取模块301为删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络，具体包括第一级别卷积模块(conv1-2)、第二级别卷积模块(conv2-2)、第三级别卷积模块(conv3-4)、第四级别卷积模块(conv4-4)和第五级别卷积模块(conv5-4)；其中，conv1-2包含两个卷积层，conv2-2包含两个卷积层，conv3-4包含四个卷积层，conv4-4包含四个卷积层，conv5-4包含四个卷积层。通过conv1-2、conv1-2、conv3-4、conv4-4、conv5-4五个卷积模块可以得到五个级别的卷积特征，这五个级别的卷积特征分别包含了图像的显著目标的不同级别的上下文信息，这些卷积特征后续用于产生不同阶段的注意性特征。具体的，conv1-2的第2卷积层可以作为输出层获得图像的第一卷积级别的卷积特征；conv2-2的第2卷积层可以作为输出层获得图像的第二卷积级别的卷积特征；conv3-4的第4卷积层以conv3_4表示，可以作为输出层获得图像的第三卷积级别的卷积特征；conv4-4的第4卷积层以conv4_4表示，可以作为输出层获得图像的第四卷积级别的卷积特征；conv5-4的第4卷积层以conv5_4表示，可以作为输出层获得图像的第五卷积级别的卷积特征。

步骤S103，对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征。

本步骤是到不同注意阶段的注意性特征，以便后续跟进所述不同注意阶段的注意性特征确定图像的显著图。所谓注意性特征，是包含引起视觉注意的信息的特征。根据输入产生新的注意性特征的过程为一个注意阶段。

本申请实施例中，通过下述处理对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

确定所述卷积特征的通道注意向量，所述通道注意向量用于为卷积特征的通道赋予权重；

确定所述卷积特征的空间注意图，所述空间注意图用于为卷积特征的空间位置赋予权重；

根据所述通道注意向量和所述空间注意图，得到不同注意阶段的注意性特征。

本申请实施例中，具体通过下述处理确定所述卷积特征的通道注意向量，包括：

首先，确定所述卷积特征的不同通道的聚合特征；具体包括：

展开所述卷积特征，得到所述卷积特征的每个通道切片，在每个通道切片上应用均值池化操作，得到由数值构成的每个通道的第一特征向量；

根据所述第一特征向量得到所述卷积特征的不同通道的聚合特征，具体按照下述公式得到所述卷积特征的不同通道的聚合特征：

u＝W_c*v+b_c；(公式1)

其中，u为所述卷积特征的不同通道的聚合特征；

*表示卷积操作；

W_c表示卷积滤波器；

b_c表示偏置参数；

v表示第一特征向量，若以i表示第i个通道，i∈{1,...,C}，C为特征通道个数，以f表示所述卷积特征，将卷积特征f展开成f＝[f₁,f₂,...,f_C]，

是特征f的第i个通道切片，则在每个f_i上应用均值池化操作得到由数值构成的所述卷积特征的通道特征向量v，

其次，对所述聚合特征的每个通道应用Softmax操作，得到所述卷积特征的通道注意向量，所述Softmax操作为柔性化最大值归一操作；若以a_c表示所述通道注意向量，则

若以u(i)表示第i个通道的聚合特征，则u(i)在a_c上对应的权重为：

其中，i表示第i个通道，i∈{1,...,C}；

满足所有通道的权重之和为1。

本申请实施例中，具体通过下述处理确定所述卷积特征的空间注意图，包括：

首先，根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；具体的，将所述通道注意向量应用到所述卷积特征的每个通道切片中，得到每个通道的通道级别注意性特征，包括按照下述公式得到每个通道的通道级别注意性特征：

其中，i表示第i个通道，i∈{1,...,C}；

为第i个通道的通道级别注意性特征；a_c为所述通道注意向量，/>

f_i为所述卷积特征的第i个通道切片。

其次，根据所述不同通道的通道级别注意性特征，确定所述卷积特征的空间注意图。具体包括下述处理：

(1)将所述不同通道的通道级别注意性特征作为第二卷积特征；

(2)根据所述第二卷积特征，确定所述第二卷积特征的空间聚合特征，具体按照下述公式，确定所述第二卷积特征的空间聚合特征：

m＝W_s*f+b_s；(公式4)

其中，m为所述第二卷积特征的空间聚合特征，

i^W×H表示第二卷积特征的空间，以(x,y)表示空间点的坐标，则所述空间中空间点的几何定义为L＝{(x,y)|x＝1,...,W；y＝1,...,H}；

f表示所述第二卷积特征，则

C为所述第二卷积特征的通道数；

W_s为卷积滤波器；

b_s表示偏置参数；

*表示卷积操作；

(3)对所述空间聚合特征按空间点应用Softmax操作，得到所述第二卷积特征的空间注意图，所述第二卷积特征的空间注意图为所述所述卷积特征的空间注意图，所述Softmax操作为柔性化最大值归一操作；若用a_s表示所述空间注意图，用m(l)表示空间位置l处的特征向量，则m(l)在a_s上对应的权重为：

其中，

满足空间所有点的权重之和为1。

本申请实施例中，具体通过下述处理根据所述通道注意向量和所述空间注意图，得到不同注意阶段的注意性特征，包括：

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

将空间注意图应用于所述通道级别的注意性特征，得到不同注意阶段的注意性特征，具体包括按照下述公式得到所述卷积特征的注意性特征：

其中，f^csa为卷积级别的注意性特征；

a_s为所述空间注意图；

表示通道级别的哈达玛积乘法操作；

f^ca为所述通道级别的注意性特征。

需要说明的是，在对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征的具体实施过程中，一种实施方式是先确定通道级别注意性特征，然后再获取空间注意性特征；例如，包括下述处理：

根据所述卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征，得到空间注意图；

根据所述空间注意图，得到所述卷积特征的注意性特征。

在对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征的具体实施过程中，还可以采用其他实施例方式，比如是先确定空间注意图，然后再获取通道级别注意性特征，之后将空间注意图应用于通道级别注意性特征。例如包括下述处理：

根据所述卷积特征，得到空间注意图；

根据所述卷积特征，得到所述积特征的通道注意向量，所述通道注意向量用于为卷积特征的通道赋予权重；

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

将所述空间注意图应用于所述卷积特征的不同通道的通道级别注意性特征，得到所述卷积特征的注意性特征。

本申请实施例中，采用渐进性引导机制对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，具体包括：

对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对相邻浅层卷积级别的卷积特征进行引导，得到第一引导特征；

对第一引导特征进行注意性处理，得到第二阶段注意性特征。

通过这种渐进性引导机制，可以将多尺度卷积特征融合的过程中，滤除背景干扰，得到清晰轮廓的显著目标。

本申请实施例中，具体采用下述处理对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征，包括：

将所述非最浅层卷积级别的卷积特征，作为当前卷积特征；

根据所述当前卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述当前卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征进行注意性处理，得到空间注意图；

根据所述空间注意图，得到所述第一阶段注意性特征。

本申请实施例中，按照下述公式得到第一引导特征：

其中，L为所述非最浅层卷积级别，表示第L个卷积模块，L-1表示L的相邻浅层卷积模块，即第L-1个卷积模块；

S_L-1为第L-1个卷积模块侧输出的卷积特征；

为第L个卷积模块的注意性特征；

表示对特征图/>

进行2倍的上采样；

表示元素级别的加操作；

为用第L个卷积模块的注意性特征对第L-1个卷积模块侧输出的卷积特征引导后得到的对应第L-1个卷积模块的引导特征，/>

作为所述第一引导特征。

本申请实施例中，具体采用下述处理对第一引导特征进行注意性处理，得到第二阶段注意性特征，包括：

将第一引导特征作为当前卷积特征；

根据所述当前卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述当前卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征进行注意性处理，得到空间注意图；

根据所述空间注意图，得到所述第二阶段注意性特征，所述第二阶段注意性特征可以用于引导所述第二阶段注意性特征对应的卷积模块的相邻浅层的卷积特征，准备获得第三阶段的注意性特征。

本申请实施例中的一个具体实施方式是：引入至少一个注意单元对不同卷积级别的卷积特征进行注意性处理，以得到不同注意阶段的注意性特征。所述注意单元，用于提供通道注意机制和空间注意机制，根据卷积特征产生所述卷积特征对应的注意性特征。图4示出了注意单元的一种实施结构，包括：通道注意向量a_c为卷积特征f的每个通道赋予权重，使用(公式3)得到f^ca；根据f^ca使用(公式4)和(公式5)计算空间注意图a_s；将a_s用于特征f^ca上，使用(公式6)得到注意性特征f^csa。其中，a_c为根据f通过(公式1)和(公式2)得出。

步骤S104，根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

本步骤是确定所述图像的显著图。

优选的，将最深层卷积特征得到的第一阶段注意性特征渐进性引导到相邻浅层产生第二阶段注意性特征，将第二阶段注意性特征引导至次浅层的相邻浅层产生第三阶段注意性特征，依次类推，直到引导至预定层次，得到最终的用于确定显著图的注意性特征。由于所述删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络包含多个级别的卷积模块，优选提供多尺度卷积特征，上述优选的将注意性特征渐进性引导到相邻浅层，这种渐进融合特征的方式能够滤除不同尺度特征融合过程引入的背景干扰信息。

举例如下：沿用图3所示的一种卷积神经网络，卷积网络301包含有5个卷积模块；渐进引导模块302包含有3个注意单元，按照(公式7)将第5级别的注意性特征逐步引导到第四级别，从第四级别引导至第三级别，即(公式7)中L为5，则得到不同注意阶段的注意性特征的处理具体包括：

对第5级别的卷积特征进行注意性处理，得到第一阶段注意性特征；具体由第一注意单元302-1处理产生

/>

使用第一阶段注意性特征对第4级别的卷积特征进行引导，得到第一引导特征；第4级别的卷积特征为图中的conv4_4；

对第一引导特征进行注意性处理，得到第二阶段注意性特征；具体由第二注意单元302-2处理产生

使用第二阶段注意性特征对第3级别的卷积特征进行引导，得到第二引导特征；第3级别的卷积特征为图中的conv3_4；

对第二引导特征进行注意性处理，得到第三阶段注意性特征；具体由第三注意单元302-3处理产生

优选的，根据第三阶段注意性特征，得到用于显示所述图像的显著目标的显著图。

本申请实施例中，还包括：

使用所述不同阶段的注意性特征预测图像的显著图；

使用所述图像的真值图监督用于产生不同阶段的注意性特征的卷积神经网络。

沿用图3所示的一种卷积神经网络的例子，使用真值图进行监督可以对图中的注意单元起到间接监督的作用。

以本申请第一实施例为基础，本申请第二实施例提供第二种图像的显著目标的检测方法。相关部分请参见本申请第一实施例的对应的说明。

以下结合图5至图7对本申请第二实施例提供的图像的显著目标的检测方法进行说明。

图5所示的图像的显著目标的检测方法，包括：步骤S501至步骤S505。

步骤S501，确定待检测显著目标的图像。

本申请第二实施例提供的图像的显著目标的检测方法，包含以VGG-19卷积神经网络为基础设计的多卷积级别的卷积神经网络。所谓VGG-19卷积神经网络，是一种深度卷积神经网络模型，包括16个卷积层和3个全连接层。

具体的，本实施例包含的应用于图像的显著目标检测的卷积神经网络，为删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络,包含不同级别的卷积模块，浅层卷积级别的卷积模块产生关于显著目标的丰富细节信息和深层卷积级别的卷积模块产生关于显著目标的丰富语义信息。去掉最后一个级别的池化层，可以使得输出的尺度不会过小。

所谓浅层卷积级别和深层卷积级别，是按照卷积神经网络的输入的传输方向的网络层次意义上的浅层卷积级别或深层卷积级别，相对于一个层次的卷积级别，沿网络浅层方向的相邻的卷积级别称为相邻浅层卷积级别，沿网络深层方向的相邻的卷积级别称为相邻深层卷积级别。

为了能够更好的适应于检测图像的显著目标，将高水平的信息自适应的传递给不同的浅层，引入递归连接。

本步骤是确定待检测显著目标的图像。

所述图像作为引入递归连接的卷积神经网络的输入，输入到卷积网络中以便后续提取所述图像的卷积特征。

步骤S502，按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络。

本步骤是展开引入至少一次递归连接的卷积神经网络，得到多个时间步网络。

在卷积神经网络中引入递归连接后，能产生多个不同时刻的网络，每个时刻为一个时间步，每个时刻的网络为一个时间步网络。网络循环一次表示有两个时刻的网络，优选的，将两个网络之间的参数共享产生两个时刻的网络，两个时刻的网络为两个时间步网络，时间步网络的网络参数是共享的，因此基本不会提升学习的复杂度。

本申请实施例中，所述引入至少一次递归连接的卷积神经网络，为将一个时刻的时间步网络的最深层的卷积特征，递归连接到下一个时刻的时间步网络的相应浅层网络的输入，将所述最深层的卷积特征和所述浅层网络的原输入进行融合的卷积神经网络；则按照时间步展开所述引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络，所述至少两个时间步网络中的第一时间步网络为提供递归量的卷积层所在的卷积神经网络；所述至少两个时间步网络中的第二时间步网络为被引入递归连接的卷积层所在的卷积神经网络，被引入递归连接的卷积层为隐层；相应的后续处理具体包括：

使用第一时间步网络获得所述图像的第一卷积特征；

根据所述第一卷积特征，使用第二时间步网络获得所述图像的第二卷积特征；

对第二卷积特征进行注意性处理，得到所述图像的第二时间步网络的不同注意阶段的注意性特征；

根据第二注意性特征，得到用于显示所述图像的显著目标的显著图。

本申请实施例中，所述引入至少一次递归连接的卷积神经网络，具体包括五个级别卷积模块，分别为第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含四个卷积层，所述第四级别卷积模块包含四个卷积层，所述第五级别卷积模块包含四个卷积层；优选的，所述五个级别的卷积模块提供不同尺度的卷积特征。

图6示出了一种引入递归的卷积神经网络结构，包括：引入递归连接的卷积网络601、渐进引导模块602，具体实现过程中，将图像输入601前向传递到602进行逐步产生不同注意阶段的注意性特征；将601按照时间步展开，得到两个时间步网络。引入递归连接后网络循环一次表示有两个时刻的网络，优选的，将两个网络之间的参数共享得到两个时刻的网络，每一时刻为一个时间步，两个时刻的网络为两个时间步网络。引入递归连接的卷积网络601包括五个卷积模块：conv1-2，conv2-2，conv3-4，conv4-4，conv5-4，具体引入的递归连接层如图中601所示意：将conv5-4的第4卷积层conv5_4，递归连接至conv5-4的第1卷积层conv5_1、conv4-4的第1卷积层conv4_1和conv3-4的第1卷积层conv3_1，这种引入递归连接的方式为多路径递归连接，引入递归连接层的层的集合为：

R＝{conv5_1,conv4_1,conv3_1}，

其中，conv5_1为第五级别卷积模块的第一层，conv4_1为第四级别卷积模块的第一层，conv3_1为第三级别卷积模块的第一层。

图7示出了按时间步将图6所示的引入递归的卷积神经网络展开后得到的两个时间步网络的结构示意图，包括：第一时间步网络701和第二时间步网络702；每个时间步网络各自有5个卷积模块，在第五个卷积模块之后进行PAG处理，所述PAG(ProgressiveAttention Guidance)是渐进性注意引导，包括：得到卷积模块的卷积特征后，根据所述卷积特征得到第一阶段注意性特征；使用所述第一阶段注意性特征对相邻浅层的卷积特征进行引导，根据引导后的特征产生第二阶段注意性特征；依次类推，直到得到预定阶段的注意性特征，使用所述预定阶段的注意性特征得到图像的显著图。图中，由701的第五个卷积模块输出的虚线连接到702，表示引入了递归的隐层，图7是示意图，以每个模块有一个卷积层为例，

表示第一时间步网络701的各卷积模块的输出的卷积特征；/>

表示第二时间步网络702的各卷积模块的输出的卷积特征。

步骤S503，使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征。

本步骤是通过至少两个时间步网络获得图像的卷积特征。

本申请实施例中，如步骤S502描述的，所述至少两个时间步网络分别为第一时间步网络和第二时间步网络。使用第一时间步网络获得所述图像的卷积特征为第一卷积特征；使用第二时间步网络获得所述图像的卷积特征为第二卷积特征，由于第二时间步网络的最深层的卷积特征被递归连接到第一时间步网络的浅层，因此第二卷积特征中也蕴含了第一卷积特征包含的信息。

沿用图6所示的一种卷积神经网络的例子。图像输入卷积神经网络后进行前向传递，通过不同级别的卷积模块提取图像的卷积特征。前向传递过程中，不同级别的卷积模块得到的卷积特征可以按照下述公式表示，以第1个卷积层的卷积特征为例：

其中，H₁表示前向传递过程中第1个卷积层得到的卷积特征；

W_l表示卷积核；

和

表示代表核和偏置参数；

f_l(·)表示多种函数的组合，例如激活函数、池化操作等。

通过多路径递归连接，最深层的卷积特征被引入隐层，则(公式8)重写为下述公式：

其中，N(·)表示使用l₂范数进行归一化的操作；

表示t-1时刻最深层的卷积特征，也是全局卷积特征；

W_l为第一个卷积层的卷积核；

为第一卷积层的偏置参数；

为所述隐层的卷积核，所述/>

随着时间变化；

为所述隐层的卷积层的偏置参数，所述/>

是随着时间变化的；/>

R＝{r_m|m＝1,...M}为所述隐层的层的集合，r_m∈{1,...,L}为对应的层的索引。

通过(公式9)能得到所述第二卷积特征。(公式9)中使用l₂范数进行归一化的操作的目的是保证递归回去的特征和所述隐层原输入的特征在同一取值范围内，避免因某一部分响应过大造成另外一部分失效。

通过多路径递归连接，所述引入至少一个递归连接的卷积神经网络能被长期的语义信息增强，使得全局语义信息被自适应的用来引导浅层特征的学习，从而能输出更有效的特征。

步骤S504，对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征。

本步骤是得到至少两个时间步网络的不同注意阶段的注意性特征。

本申请实施例中，所述至少两个时间步网络中每个时间步网络在前向传递卷积特征后继续进行PAG处理。

沿用图6所示的一种卷积神经网络的例子。由于通过不同级别的卷积模块提取图像的卷积特征进行前向传递，传递到渐进引导模块602。相应的，按照时间步展开图6所示的一种卷积神经网络得到的如图7所示的包含两个时间步网络的网络结构，每个时间步网络中都保留了PAG处理，t＝1时刻的第一时间步网络PAG处理后得到所述图像的第一时间步网络的不同注意阶段的注意性特征；t＝2时刻的第二时间步网络PAG处理后得到所述图像的第二时间步网络的不同注意阶段的注意性特征。

步骤S505，根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

本步骤是得到显著图。

优选的，根据所述至少两个时间步网络的最后一个时间步网络的最后一个注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

沿用图7所示的时间步网络的例子。例如图中的两个时间步网络的PAG处理各自包括3个注意阶段，根据t＝1时刻的第一时间步网络的最后一个注意阶段的注意性特征得到显著图如图中703所示；根据t＝2时刻的第二时间步网络的PAG处理的最后一个注意阶段的注意性特征，得到所述图像的显著图如图中704所示，实际中将根据第二时间步网络的PAG处理的最后一个注意阶段的注意性特征得到的显著图作为最终的显著目标检测结果。

另外，为了使得本申请实施例中包含的卷积神经网络得到的显著目标能逼近图像的显著目标的真值图，需要对所述卷积神经网络进行训练。所谓显著目标的真值图，是对应原图的0-1二值图，值为1的像素点即属于显著目标，值为0的像素点为背景。卷积神经网络输出图像的显著图越接近于真值图，则应用卷积神经网络对图像的显著性检测结果越准确，对于卷积神经网络的训练目标是使得通过卷积神经网络产生的显著图中像素的显著性概率得分尽可能的与真值接近。对所述卷积神经网络进行训练的具体处理，包括：

使用所述不同注意阶段的注意性特征预测图像的显著图；

在不同注意阶段使用所述图像的真值图监督所述卷积神经网络。

具体采用像素级别的交叉熵损失函数进行监督。优选的，所述交叉熵损失函数为：

其中，

各参数含义如下：

(i,j)表示空间位置，t表示时刻t，则t时刻第l个注意阶段输出的显著图以Z^lt表示；

l_g∈{0,1}表示真值标签；

1(·)表示指示函数，当满足条件时，该值为1，否则为0；

Θ表示整个网络的参数；

Pr(l_i,j＝l_g|Θ)表示预测的得分。

优选的，采用随机梯度下降算法对所述卷积神经网络进行训练，使得所述交叉熵损失函数最小化得到训练好的卷积神经网络。

与本申请第一实施例相对应，本申请第三实施例还提供了一种图像的显著目标的检测装置。

参照图8，其示出了本申请第三实施例提供的图像的显著目标的检测装置示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见方法实施例的对应说明即可。

图8所示的图像的显著目标的检测装置，包括：

图像确定单元801，用于确定待检测显著目标的图像；

卷积特征获取单元802，用于获得所述图像的至少两个卷积级别的卷积特征；

注意单元803，用于对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；

显著图确定单元804，用于根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述注意单元803，具体用于：

确定所述卷积特征的通道注意向量，所述通道注意向量用于为卷积特征的通道赋予权重；

确定所述卷积特征的空间注意图，所述空间注意图用于为卷积特征的空间位置赋予权重；

根据所述通道注意向量和所述空间注意图，得到不同注意阶段的注意性特征。

可选的，所述注意单元803包含通道注意子单元，所述通道注意子单元用于：

确定所述卷积特征的不同通道的聚合特征；

对所述聚合特征的每个通道应用Softmax操作，得到所述卷积特征的通道注意向量，所述Softmax操作为柔性化最大值归一操作；若以a_c表示所述通道注意向量，则

若以u(i)表示第i个通道的聚合特征，则u(i)在a_c上对应的权重为：/>

其中，i表示第i个通道，i∈{1,...,C}；

满足所有通道的权重之和为1。

可选的，所述通道注意子单元，具体用于：

展开所述卷积特征，得到所述卷积特征的每个通道切片，在每个通道切片上应用均值池化操作，得到由数值构成的每个通道的第一特征向量；

根据所述第一特征向量得到所述卷积特征的不同通道的聚合特征。

可选的，所述通道注意子单元，具体按照下述公式得到所述卷积特征的不同通道的聚合特征：

u＝W_c*v+b_c；

其中，u为所述卷积特征的不同通道的聚合特征；

*表示卷积操作；

W_c表示卷积滤波器；

b_c表示偏置参数；

v表示第一特征向量，若以i表示第i个通道，i∈{1,...,C}，C为特征通道个数，以f表示所述卷积特征，将卷积特征f展开成f＝[f₁,f₂,...,f_C]，

是特征f的第i个通道切片，则在每个f_i上应用均值池化操作得到由数值构成的所述卷积特征的通道特征向量v，

可选的，所述注意单元803，包含空间注意子单元，所述空间注意子单元用于：

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征，确定所述卷积特征的空间注意图。

可选的，所述空间注意子单元，具体用于：

将所述通道注意向量应用到所述卷积特征的每个通道切片中，得到每个通道的通道级别注意性特征。

可选的，所述空间注意子单元，具体按照下述公式得到每个通道的通道级别注意性特征：

其中，i表示第i个通道，i∈{1,...,C}；

为第i个通道的通道级别注意性特征；a_c为所述通道注意向量，/>

f_i为所述卷积特征的第i个通道切片。

可选的，所述空间注意子单元，具体用于：

将所述不同通道的通道级别注意性特征作为第二卷积特征；

根据所述第二卷积特征，确定所述第二卷积特征的空间聚合特征；

对所述空间聚合特征按空间点应用Softmax操作，得到所述第二卷积特征的空间注意图，所述第二卷积特征的空间注意图为所述所述卷积特征的空间注意图，所述Softmax操作为柔性化最大值归一操作；若用a_s表示所述空间注意图，用m(l)表示空间位置l处的特征向量，则m(l)在a_s上对应的权重为：

其中，

满足空间所有点的权重之和为1。

可选的，所述空间注意子单元，具体按照下述公式，确定所述第二卷积特征的空间聚合特征：

m＝W_s*f+b_s；

其中，m为所述第二卷积特征的空间聚合特征，

i^W×H表示第二卷积特征的空间，以(x,y)表示空间点的坐标，则所述空间中空间点的几何定义为L＝{(x,y)|x＝1,...,W；y＝1,...,H}；

f表示所述第二卷积特征，则

C为所述第二卷积特征的通道数；

W_s为卷积滤波器；

b_s表示偏置参数；

*表示卷积操作。

可选的，所述注意单元803，具体用于：

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

将空间注意图应用于所述通道级别的注意性特征，得到不同注意阶段的注意性特征。

可选的，所述注意单元803，具体按照下述公式得到所述卷积特征的注意性特征：

其中，f^csa为卷积级别的注意性特征；

a_s为所述空间注意图；

表示通道级别的哈达玛积乘法操作；

f^ca为所述通道级别的注意性特征。

可选的，所述注意单元803，具体用于：

根据所述卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征，得到空间注意图；

根据所述空间注意图，得到所述卷积特征的注意性特征。

可选的，所述注意单元803，具体用于：

根据所述卷积特征，得到空间注意图；

根据所述卷积特征，得到所述积特征的通道注意向量，所述通道注意向量用于为卷积特征的通道赋予权重；

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

将所述空间注意图应用于所述卷积特征的不同通道的通道级别注意性特征，得到所述卷积特征的注意性特征。

可选的，所述注意单元803，具体用于：

对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对相邻浅层卷积级别的卷积特征进行引导，得到第一引导特征；

对第一引导特征进行注意性处理，得到第二阶段注意性特征。

可选的，所述注意单元803，包括第一注意子单元，所述第一注意子单元用于：

将所述非最浅层卷积级别的卷积特征，作为当前卷积特征；

根据所述当前卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述当前卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征进行注意性处理，得到空间注意图；

根据所述空间注意图，得到所述第一阶段注意性特征。

可选的，所述第一注意子单元，具体按照下述公式得到第一引导特征：

其中，L为所述非最浅层卷积级别，表示第L个卷积模块，L-1表示L的相邻浅层卷积模块，即第L-1个卷积模块；

S_L-1为第L-1个卷积模块侧输出的卷积特征；

为第L个卷积模块的注意性特征；

表示对特征图/>

进行2倍的上采样；

表示元素级别的加操作；

为用第L个卷积模块的注意性特征对第L-1个卷积模块侧输出的卷积特征引导后得到的对应第L-1个卷积模块的引导特征，/>

作为所述第一引导特征。

可选的，所述注意单元803，包括第二注意子单元，所述第二注意子单元用于：

将第一引导特征作为当前卷积特征；

根据所述当前卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述当前卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征进行注意性处理，得到空间注意图；

根据所述空间注意图，得到所述第二阶段注意性特征，所述第二阶段注意性特征可以用于引导所述第二阶段注意性特征对应的卷积模块的相邻浅层的卷积特征，准备获得第三阶段的注意性特征。

可选的，所述L为5；相应的，所述注意单元803，具体用于：

对第5级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对第4级别的卷积特征进行引导，得到第一引导特征；

对第一引导特征进行注意性处理，得到第二阶段注意性特征；

使用第二阶段注意性特征对第3级别的卷积特征进行引导，得到第二引导特征；

对第二引导特征进行注意性处理，得到第三阶段注意性特征；

所述根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图，包括：

根据第三阶段注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述卷积特征获取单元802，具体用于：使用删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络获得所述图像的至少两个卷积级别的卷积特征。

可选的，所述删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络包含至少两个级别的卷积模块；

所述获得所述图像的至少两个卷积级别的卷积特征，包括：使用删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络的每个级别的卷积模块，获得分别对应每个级别的卷积模块的卷积特征；

相应的，所述注意单元803，具体用于：

对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对所述非最浅层的相邻浅层卷积级别的卷积特征进行引导，得到第一引导特征，对第一引导特征进行注意性处理，得到第二阶段注意性特征。

可选的，所述至少两个级别的卷积模块包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；

其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含四个卷积层，所述第四级别卷积模块包含四个卷积层，所述第五级别卷积模块包含四个卷积层。

可选的，所述卷积模块的卷积特征，为由所述卷积模块侧输出得到的卷积特征。

可选的，所述图像的显著目标的检测装置，还包括训练单元，所述训练单元用于：

使用所述不同阶段的注意性特征预测图像的显著图；

使用所述图像的真值图监督用于产生不同阶段的注意性特征的卷积神经网络。

与本申请第二实施例相对应，本申请第四实施例还提供了第二种图像的显著目标的检测装置。

参照图9，其示出了本申请第四实施例提供的图像的显著目标的检测装置示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见方法实施例的对应说明即可。

图9所示的图像的显著目标的检测装置，包括：

图像确定单元901，用于确定待检测显著目标的图像；

时间步展开单元902，用于按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

卷积特征获取单元903，用于使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征；

注意单元904，用于对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；

显著图确定单元905，用于根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述引入至少一次递归连接的卷积神经网络，为将一个时刻的时间步网络的最深层的卷积特征，递归连接到下一个时刻的时间步网络的相应浅层网络的输入，将所述最深层的卷积特征和所述浅层网络的原输入进行融合的卷积神经网络；

相应的，所述时间步展开单元902，用于：按照时间步展开所述引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

所述至少两个时间步网络中的第一时间步网络为提供递归量的卷积层所在的卷积神经网络；

所述至少两个时间步网络中的第二时间步网络为被引入递归连接的卷积层所在的卷积神经网络，被引入递归连接的卷积层为隐层；

相应的，所述卷积特征获取单元903，用于：

使用第一时间步网络获得所述图像的第一卷积特征；

根据所述第一卷积特征，使用第二时间步网络获得所述图像的第二卷积特征；

相应的，所述注意单元904用于：

对第二卷积特征进行注意性处理，得到所述图像的第二时间步网络的不同注意阶段的注意性特征；

相应的，所述显著图确定单元905，用于：

根据第二注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述卷积特征获取单元903，具体按照下述公式得到所述第二卷积特征：

其中，N(·)表示使用l₂范数进行归一化的操作；

表示t-1时刻最深层的卷积特征；

W_l为第一个卷积层的卷积核；

为第一卷积层的偏置参数；

为所述隐层的卷积核，所述/>

随着时间变化；

为所述隐层的卷积层的偏置参数，所述/>

是随着时间变化的；

R＝{r_m|m＝1,...M}为所述隐层的层的集合，r_m∈{1,...,L}为对应的层的索引。

可选的，所述引入至少一次递归连接的卷积神经网络，包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；

其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含四个卷积层，所述第四级别卷积模块包含四个卷积层，所述第五级别卷积模块包含四个卷积层；

引入递归连接层的层的集合为：

R＝{conv5_1,conv4_1,conv3_1}，

其中，conv5_1为第五级别卷积模块的第一层，conv4_1为第四级别卷积模块的第一层，conv3_1为第三级别卷积模块的第一层。

可选的，所述显著图确定单元905，具体用于：

根据所述至少两个时间步网络的最后一个时间步网络的最后一个注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述图像的显著目标的检测装置，还包括训练单元，所述训练单元用于：

使用所述不同注意阶段的注意性特征预测图像的显著图；

在不同注意阶段使用所述图像的真值图监督所述卷积神经网络。

可选的，所述训练单元，用于采用像素级别的交叉熵损失函数进行监督；具体采用下述交叉熵损失函数：

其中，

各参数含义如下：

(i,j)表示空间位置，t表示时刻t，则t时刻第l个注意阶段输出的显著图以Z^lt表示；

l_g∈{0,1}表示真值标签；

1(·)表示指示函数，当满足条件时，该值为1，否则为0；

Θ表示整个网络的参数；

Pr(l_i,j＝l_g|Θ)表示预测的得分。

本申请第五实施例还提供了一种用于实现第一实施例提供的图像的显著目标的检测方法的电子设备。

参照图10，其示出了本申请第五实施例提供的一种电子设备的示意图。

本申请第五实施例提供的所述电子设备实施例描述得比较简单，相关的部分请参见上述相应的方法的实施例的对应说明即可。

图10所示的一种电子设备，包括：

存储器1001，以及处理器1002；

所述存储器1001用于存储计算机可执行指令，所述处理器1002用于执行所述计算机可执行指令：

确定待检测显著目标的图像；

获得所述图像的至少两个卷积级别的卷积特征；

对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；

根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

确定所述卷积特征的通道注意向量，所述通道注意向量用于为卷积特征的通道赋予权重；

确定所述卷积特征的空间注意图，所述空间注意图用于为卷积特征的空间位置赋予权重；

根据所述通道注意向量和所述空间注意图，得到不同注意阶段的注意性特征。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

确定所述卷积特征的不同通道的聚合特征；

对所述聚合特征的每个通道应用Softmax操作，得到所述卷积特征的通道注意向量，所述Softmax操作为柔性化最大值归一操作；若以a_c表示所述通道注意向量，则

若以u(i)表示第i个通道的聚合特征，则u(i)在a_c上对应的权重为：

其中，i表示第i个通道，i∈{1,...,C}；

满足所有通道的权重之和为1。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

展开所述卷积特征，得到所述卷积特征的每个通道切片，在每个通道切片上应用均值池化操作，得到由数值构成的每个通道的第一特征向量；

根据所述第一特征向量得到所述卷积特征的不同通道的聚合特征。

可选的，所述处理器1002还用于按照下述公式得到所述卷积特征的不同通道的聚合特征：

u＝W_c*v+b_c；

其中，u为所述卷积特征的不同通道的聚合特征；

*表示卷积操作；

W_c表示卷积滤波器；

b_c表示偏置参数；

v表示第一特征向量，若以i表示第i个通道，i∈{1,...,C}，C为特征通道个数，以f表示所述卷积特征，将卷积特征f展开成f＝[f₁,f₂,...,f_C]，

是特征f的第i个通道切片，则在每个f_i上应用均值池化操作得到由数值构成的所述卷积特征的通道特征向量v，

可选的，所述处理器1002还用于执行下述计算机可执行指令：

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征，确定所述卷积特征的空间注意图。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

将所述通道注意向量应用到所述卷积特征的每个通道切片中，得到每个通道的通道级别注意性特征。

可选的，所述处理器1002还用于按照下述公式得到每个通道的通道级别注意性特征：

其中，i表示第i个通道，i∈{1,...,C}；

为第i个通道的通道级别注意性特征；a_c为所述通道注意向量，/>

f_i为所述卷积特征的第i个通道切片。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

将所述不同通道的通道级别注意性特征作为第二卷积特征；

根据所述第二卷积特征，确定所述第二卷积特征的空间聚合特征；

对所述空间聚合特征按空间点应用Softmax操作，得到所述第二卷积特征的空间注意图，所述第二卷积特征的空间注意图为所述所述卷积特征的空间注意图，所述Softmax操作为柔性化最大值归一操作；若用a_s表示所述空间注意图，用m(l)表示空间位置l处的特征向量，则m(l)在a_s上对应的权重为：

其中，

满足空间所有点的权重之和为1。

可选的，所述处理器1002还用于按照下述公式，确定所述第二卷积特征的空间聚合特征：

m＝W_s*f+b_s；

其中，m为所述第二卷积特征的空间聚合特征，

i^W×H表示第二卷积特征的空间，以(x,y)表示空间点的坐标，则所述空间中空间点的几何定义为L＝{(x,y)|x＝1,...,W；y＝1,...,H}；

f表示所述第二卷积特征，则

C为所述第二卷积特征的通道数；

W_s为卷积滤波器；

b_s表示偏置参数；

*表示卷积操作。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

将空间注意图应用于所述通道级别的注意性特征，得到不同注意阶段的注意性特征。

可选的，所述处理器1002还用于按照下述公式得到所述卷积特征的注意性特征：

其中，f^csa为卷积级别的注意性特征；

a_s为所述空间注意图；

表示通道级别的哈达玛积乘法操作；

f^ca为所述通道级别的注意性特征。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

根据所述卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征，得到空间注意图；

根据所述空间注意图，得到所述卷积特征的注意性特征。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

根据所述卷积特征，得到空间注意图；

根据所述卷积特征，得到所述积特征的通道注意向量，所述通道注意向量用于为卷积特征的通道赋予权重；

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

将所述空间注意图应用于所述卷积特征的不同通道的通道级别注意性特征，得到所述卷积特征的注意性特征。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对相邻浅层卷积级别的卷积特征进行引导，得到第一引导特征；

对第一引导特征进行注意性处理，得到第二阶段注意性特征。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

将所述非最浅层卷积级别的卷积特征，作为当前卷积特征；

根据所述当前卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述当前卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征进行注意性处理，得到空间注意图；

根据所述空间注意图，得到所述第一阶段注意性特征。

可选的，所述处理器1002还用于按照下述公式得到第一引导特征：

其中，L为所述非最浅层卷积级别，表示第L个卷积模块，L-1表示L的相邻浅层卷积模块，即第L-1个卷积模块；

S_L-1为第L-1个卷积模块侧输出的卷积特征；

为第L个卷积模块的注意性特征；

表示对特征图/>

进行2倍的上采样；

表示元素级别的加操作；

为用第L个卷积模块的注意性特征对第L-1个卷积模块侧输出的卷积特征引导后得到的对应第L-1个卷积模块的引导特征，/>

作为所述第一引导特征。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

将第一引导特征作为当前卷积特征；

根据所述当前卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述当前卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征进行注意性处理，得到空间注意图；

根据所述空间注意图，得到所述第二阶段注意性特征，所述第二阶段注意性特征可以用于引导所述第二阶段注意性特征对应的卷积模块的相邻浅层的卷积特征，准备获得第三阶段的注意性特征。

可选的，所述L为5；所述处理器1002还用于执行下述计算机可执行指令：

对第5级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对第4级别的卷积特征进行引导，得到第一引导特征；

对第一引导特征进行注意性处理，得到第二阶段注意性特征；

使用第二阶段注意性特征对第3级别的卷积特征进行引导，得到第二引导特征；

对第二引导特征进行注意性处理，得到第三阶段注意性特征；

所述根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图，包括：

根据第三阶段注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述处理器1002还用于执行下述计算机可执行指令：使用删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络获得所述图像的至少两个卷积级别的卷积特征。

可选的，所述删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络包含至少两个级别的卷积模块；所述处理器1002还用于执行下述计算机可执行指令：使用删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络的每个级别的卷积模块，获得分别对应每个级别的卷积模块的卷积特征；

对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对所述非最浅层的相邻浅层卷积级别的卷积特征进行引导，得到第一引导特征，对第一引导特征进行注意性处理，得到第二阶段注意性特征。

可选的，所述至少两个级别的卷积模块包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；

其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含四个卷积层，所述第四级别卷积模块包含四个卷积层，所述第五级别卷积模块包含四个卷积层。

可选的，所述卷积模块的卷积特征，为由所述卷积模块侧输出得到的卷积特征。

可选的，所述处理器1002还用于执行下述计算机可执行指令：

使用所述不同阶段的注意性特征预测图像的显著图；

使用所述图像的真值图监督用于产生不同阶段的注意性特征的卷积神经网络。

本申请第六实施例还提供了一种用于实现第二实施例提供的图像的显著目标的检测方法的电子设备。所述电子设备的示意图类似于图10。

本申请第六实施例提供的所述电子设备实施例描述得比较简单，相关的部分请参见上述相应的方法的实施例的对应说明即可。

本申请第六实施例提供的电子设备，包括：

存储器，以及处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

确定待检测显著目标的图像；

按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征；

对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；

根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，，所述引入至少一次递归连接的卷积神经网络，为将一个时刻的时间步网络的最深层的卷积特征，递归连接到下一个时刻的时间步网络的相应浅层网络的输入，将所述最深层的卷积特征和所述浅层网络的原输入进行融合的卷积神经网络；相应的，所述处理器还用于执行下述计算机可执行指令：

按照时间步展开所述引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；所述至少两个时间步网络中的第一时间步网络为提供递归量的卷积层所在的卷积神经网络；所述至少两个时间步网络中的第二时间步网络为被引入递归连接的卷积层所在的卷积神经网络，被引入递归连接的卷积层为隐层；

使用第一时间步网络获得所述图像的第一卷积特征；

根据所述第一卷积特征，使用第二时间步网络获得所述图像的第二卷积特征；

对第二卷积特征进行注意性处理，得到所述图像的第二时间步网络的不同注意阶段的注意性特征；

根据第二注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述处理器还用于按照下述公式得到所述第二卷积特征：

其中，N(·)表示使用l₂范数进行归一化的操作；

表示t-1时刻最深层的卷积特征；

W_l为第一个卷积层的卷积核；

为第一卷积层的偏置参数；

为所述隐层的卷积核，所述/>

随着时间变化；

为所述隐层的卷积层的偏置参数，所述/>

是随着时间变化的；

R＝{r_m|m＝1,...M}为所述隐层的层的集合，r_m∈{1,...,L}为对应的层的索引。

可选的，所述引入至少一次递归连接的卷积神经网络，包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；

其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含四个卷积层，所述第四级别卷积模块包含四个卷积层，所述第五级别卷积模块包含四个卷积层；

引入递归连接层的层的集合为：

R＝{conv5_1,conv4_1,conv3_1}，

其中，conv5_1为第五级别卷积模块的第一层，conv4_1为第四级别卷积模块的第一层，conv3_1为第三级别卷积模块的第一层。

可选的，所述处理器还用于执行下述计算机可执行指令：

根据所述至少两个时间步网络的最后一个时间步网络的最后一个注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

可选的，所述处理器还用于执行下述计算机可执行指令：

使用所述不同注意阶段的注意性特征预测图像的显著图；

在不同注意阶段使用所述图像的真值图监督所述卷积神经网络。

可选的，所述使用所述图像的真值图监督所述卷积神经网络，包括：

采用像素级别的交叉熵损失函数进行监督；所述交叉熵损失函数具体为：

其中，

各参数含义如下：

(i,j)表示空间位置，t表示时刻t，则t时刻第l个注意阶段输出的显著图以Z^lt表示；

l_g∈{0,1}表示真值标签；

1(·)表示指示函数，当满足条件时，该值为1，否则为0；

Θ表示整个网络的参数；

Pr(l_i,j＝l_g|Θ)表示预测的得分。

本申请第七实施例还提供一种用于第一实施例提供的图像的显著目标的检测方法的存储设备实施例，其描述得比较简单，相关的部分请参见上述方法的实施例的对应说明即可。

本申请第七实施例提供一种存储设备，存储有指令，所述指令能够被处理器加载并执行以下步骤：

确定待检测显著目标的图像；

获得所述图像的至少两个卷积级别的卷积特征；

对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；

根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

本申请第八实施例还提供一种用于第二实施例提供的图像的显著目标的检测方法的存储设备实施例，其描述得比较简单，相关的部分请参见上述方法的实施例的对应说明即可。

本申请第八实施例提供一种存储设备，存储有指令，所述指令能够被处理器加载并执行以下步骤：

确定待检测显著目标的图像；

按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征；

对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；

根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (38)

1.一种图像的显著目标的检测方法，其特征在于，包括：

确定待检测显著目标的图像；

获得所述图像的至少两个卷积级别的卷积特征；

对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；所述注意性特征是包含引起视觉注意的信息的特征；

根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

2.根据权利要求1所述的方法，其特征在于，所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

确定所述卷积特征的通道注意向量，所述通道注意向量用于为卷积特征的通道赋予权重；

确定所述卷积特征的空间注意图，所述空间注意图用于为卷积特征的空间位置赋予权重；

根据所述通道注意向量和所述空间注意图，得到不同注意阶段的注意性特征。

3.根据权利要求2所述的方法，其特征在于，所述确定所述卷积特征的通道注意向量，包括：

确定所述卷积特征的不同通道的聚合特征；

对所述聚合特征的每个通道应用Softmax操作，得到所述卷积特征的通道注意向量，所述Softmax操作为柔性化最大值归一操作；若以a_c表示所述通道注意向量，则

若以u(i)表示第i个通道的聚合特征，则u(i)在a_c上对应的权重为：

其中，i表示第i个通道，i∈{1,...,C}；

满足所有通道的权重之和为1。

4.根据权利要求3所述的方法，其特征在于，所述确定所述卷积特征的不同通道的聚合特征包括：

展开所述卷积特征，得到所述卷积特征的每个通道切片，在每个通道切片上应用均值池化操作，得到由数值构成的每个通道的第一特征向量；

根据所述第一特征向量得到所述卷积特征的不同通道的聚合特征。

5.根据权利要求4所述的方法，其特征在于，按照下述公式得到所述卷积特征的不同通道的聚合特征：

u＝W_c*v+b_c；

其中，u为所述卷积特征的不同通道的聚合特征；

*表示卷积操作；

W_c表示卷积滤波器；

b_c表示偏置参数；

v表示第一特征向量，若以i表示第i个通道，i∈{1,...,C}，C为特征通道个数，以f表示所述卷积特征，将卷积特征f展开成f＝[f₁,f₂,...,f_C]，

是特征f的第i个通道切片，则在每个f_i上应用均值池化操作得到由数值构成的所述卷积特征的通道特征向量v，

6.根据权利要求2所述的方法，其特征在于，所述确定所述卷积特征的空间注意图，包括：

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征，确定所述卷积特征的空间注意图。

7.根据权利要求6所述的方法，其特征在于，所述根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征，包括：

将所述通道注意向量应用到所述卷积特征的每个通道切片中，得到每个通道的通道级别注意性特征。

8.根据权利要求7所述的方法，其特征在于，按照下述公式得到每个通道的通道级别注意性特征：

其中，i表示第i个通道，i∈{1,...,C}；

为第i个通道的通道级别注意性特征；a_c为所述通道注意向量，/>

f_i为所述卷积特征的第i个通道切片。

9.根据权利要求6所述的方法，其特征在于，所述根据所述不同通道的通道级别注意性特征，确定所述卷积特征的空间注意图，包括：

将所述不同通道的通道级别注意性特征作为第二卷积特征；

根据所述第二卷积特征，确定所述第二卷积特征的空间聚合特征；

对所述空间聚合特征按空间点应用Softmax操作，得到所述第二卷积特征的空间注意图，所述第二卷积特征的空间注意图为所述卷积特征的空间注意图，所述Softmax操作为柔性化最大值归一操作；若用a_s表示所述空间注意图，用m(l)表示空间位置l处的特征向量，则m(l)在a_s上对应的权重为：

其中，

满足空间所有点的权重之和为1。

10.根据权利要求9所述的方法，其特征在于，按照下述公式，确定所述第二卷积特征的空间聚合特征：

m＝W_s*f+b_s；

其中，m为所述第二卷积特征的空间聚合特征，

i^W×H表示第二卷积特征的空间，以(x,y)表示空间点的坐标，则所述第二卷积特征的空间中空间点的几何定义为L＝{(x,y)|x＝1,...,W；y＝1,...,H}；

f表示所述第二卷积特征，则

C为所述第二卷积特征的通道数；/>

W_s为卷积滤波器；

b_s表示偏置参数；

*表示卷积操作。

11.根据权利要求2所述的方法，其特征在于，所述根据所述通道注意向量和所述空间注意图，得到不同注意阶段的注意性特征，包括：

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

将空间注意图应用于所述通道级别的注意性特征，得到不同注意阶段的注意性特征。

12.根据权利要求11所述的方法，其特征在于，按照下述公式得到所述卷积特征的注意性特征：

其中，f^csa为卷积级别的注意性特征；

a_s为所述空间注意图；

表示通道级别的哈达玛积乘法操作；

f^ca为所述通道级别的注意性特征。

13.根据权利要求1所述的方法，其特征在于，所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

根据所述卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征，得到空间注意图；

根据所述空间注意图，得到所述卷积特征的注意性特征。

14.根据权利要求1所述的方法，其特征在于，所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

根据所述卷积特征，得到空间注意图；

根据所述卷积特征，得到所述积特征的通道注意向量，所述通道注意向量用于为卷积特征的通道赋予权重；

根据所述通道注意向量，得到所述卷积特征的不同通道的通道级别注意性特征；

将所述空间注意图应用于所述卷积特征的不同通道的通道级别注意性特征，得到所述卷积特征的注意性特征。

15.根据权利要求1所述的方法，其特征在于，所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对相邻浅层卷积级别的卷积特征进行引导，得到第一引导特征；

对第一引导特征进行注意性处理，得到第二阶段注意性特征。

16.根据权利要求15所述的方法，其特征在于，所述对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征，包括：

将所述非最浅层卷积级别的卷积特征，作为当前卷积特征；

根据所述当前卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述当前卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征进行注意性处理，得到空间注意图；

根据所述空间注意图，得到所述第一阶段注意性特征。

17.根据权利要求15所述的方法，其特征在于，按照下述公式得到第一引导特征：

其中，L为所述非最浅层卷积级别，表示第L个卷积模块，L-1表示L的相邻浅层卷积模块，即第L-1个卷积模块；

S_L-1为第L-1个卷积模块侧输出的卷积特征；

为第L个卷积模块的注意性特征；

表示对特征图/>

进行2倍的上采样；

⊕表示元素级别的加操作；

为用第L个卷积模块的注意性特征对第L-1个卷积模块侧输出的卷积特征引导后得到的对应第L-1个卷积模块的引导特征，/>

作为所述第一引导特征。

18.根据权利要求15所述的方法，其特征在于，所述对第一引导特征进行注意性处理，得到第二阶段注意性特征，包括：

将第一引导特征作为当前卷积特征；

根据所述当前卷积特征，得到通道注意向量；

根据所述通道注意向量，得到所述当前卷积特征的不同通道的通道级别注意性特征；

根据所述不同通道的通道级别注意性特征进行注意性处理，得到空间注意图；

根据所述空间注意图，得到所述第二阶段注意性特征，所述第二阶段注意性特征可以用于引导所述第二阶段注意性特征对应的卷积模块的相邻浅层的卷积特征，准备获得第三阶段的注意性特征。

19.根据权利要求17所述的方法，其特征在于，所述L为5；

所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

对第5级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对第4级别的卷积特征进行引导，得到第一引导特征；

对第一引导特征进行注意性处理，得到第二阶段注意性特征；

使用第二阶段注意性特征对第3级别的卷积特征进行引导，得到第二引导特征；

对第二引导特征进行注意性处理，得到第三阶段注意性特征；

所述根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图，包括：

根据第三阶段注意性特征，得到用于显示所述图像的显著目标的显著图。

20.根据权利要求1所述的方法，其特征在于，所述获得所述图像的至少两个卷积级别的卷积特征，包括：使用删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络获得所述图像的至少两个卷积级别的卷积特征。

21.根据权利要求20所述的方法，其特征在于，所述删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络包含至少两个级别的卷积模块；

所述获得所述图像的至少两个卷积级别的卷积特征，包括：使用删除全连接层以及最后一个级别的池化层后的VGG-19卷积神经网络的每个级别的卷积模块，获得分别对应每个级别的卷积模块的卷积特征；

所述对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征，包括：

对非最浅层卷积级别的卷积特征进行注意性处理，得到第一阶段注意性特征；

使用第一阶段注意性特征对所述非最浅层的相邻浅层卷积级别的卷积特征进行引导，得到第一引导特征，对第一引导特征进行注意性处理，得到第二阶段注意性特征。

22.根据权利要求21所述的方法，其特征在于，所述至少两个级别的卷积模块包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；

其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含四个卷积层，所述第四级别卷积模块包含四个卷积层，所述第五级别卷积模块包含四个卷积层。

23.根据权利要求21所述的方法，其特征在于，所述卷积模块的卷积特征，为由所述卷积模块侧输出得到的卷积特征。

24.根据权利要求1所述的方法，其特征在于，还包括：

使用所述不同阶段的注意性特征预测图像的显著图；

使用所述图像的真值图监督用于产生不同阶段的注意性特征的卷积神经网络。

25.一种图像的显著目标的检测方法，其特征在于，包括：

确定待检测显著目标的图像；

按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征；

对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；所述注意性特征是包含引起视觉注意的信息的特征；

根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

26.根据权利要求25所述的方法，其特征在于，所述引入至少一次递归连接的卷积神经网络，为将一个时刻的时间步网络的最深层的卷积特征，递归连接到下一个时刻的时间步网络的相应浅层网络的输入，将所述最深层的卷积特征和所述浅层网络的原输入进行融合的卷积神经网络；

所述按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络，包括：按照时间步展开所述引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

所述至少两个时间步网络中的第一时间步网络为提供递归量的卷积层所在的卷积神经网络；

所述至少两个时间步网络中的第二时间步网络为被引入递归连接的卷积层所在的卷积神经网络，被引入递归连接的卷积层为隐层；

所述使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征，包括：

使用第一时间步网络获得所述图像的第一卷积特征；

根据所述第一卷积特征，使用第二时间步网络获得所述图像的第二卷积特征；

所述对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征，包括：

对第二卷积特征进行注意性处理，得到所述图像的第二时间步网络的不同注意阶段的注意性特征；

所述根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图，包括：

根据第二注意性特征，得到用于显示所述图像的显著目标的显著图。

27.根据权利要求26所述的方法，其特征在于，按照下述公式得到所述第二卷积特征：

其中，N(·)表示使用l₂范数进行归一化的操作；

表示t-1时刻最深层的卷积特征；

W_l为第一个卷积层的卷积核；

为第一卷积层的偏置参数；

为所述隐层的卷积核，所述/>

随着时间变化；

为所述隐层的卷积层的偏置参数，所述/>

是随着时间变化的；

R＝{r_m|m＝1,...M}为所述隐层的层的集合，r_m∈{1,...,L}为对应的层的索引。

28.根据权利要求25所述的方法，其特征在于，所述引入至少一次递归连接的卷积神经网络，包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；

其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含四个卷积层，所述第四级别卷积模块包含四个卷积层，所述第五级别卷积模块包含四个卷积层；

引入递归连接层的层的集合为：

R＝{conv5_1,conv4_1,conv3_1}，

其中，conv5_1为第五级别卷积模块的第一层，conv4_1为第四级别卷积模块的第一层，conv3_1为第三级别卷积模块的第一层。

29.根据权利要求25所述的方法，其特征在于，所述根据所述图像的至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图，包括：

根据所述至少两个时间步网络的最后一个时间步网络的最后一个注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

30.根据权利要求25所述的方法，其特征在于，还包括：

使用所述不同注意阶段的注意性特征预测图像的显著图；

在不同注意阶段使用所述图像的真值图监督所述卷积神经网络。

31.根据权利要求30所述的方法，其特征在于，所述使用所述图像的真值图监督所述卷积神经网络，包括：

采用像素级别的交叉熵损失函数进行监督。

32.根据权利要求31所述的方法，其特征在于，所述交叉熵损失函数为：

其中，

各参数含义如下：

(i,j)表示空间位置，t表示时刻t，则t时刻第l个注意阶段输出的显著图以Z^t表示；

l_g∈{0,1}表示真值标签；

1(·)表示指示函数，当满足条件时，该值为1，否则为0；

Θ表示整个网络的参数；

Pr(l_i,j＝l_g|Θ)表示预测的得分。

33.一种图像的显著目标的检测装置，其特征在于，包括：

图像确定单元，用于确定待检测显著目标的图像；

卷积特征获取单元，用于获得所述图像的至少两个卷积级别的卷积特征；

注意单元，用于对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；所述注意性特征是包含引起视觉注意的信息的特征；

显著图确定单元，用于根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

34.一种图像的显著目标的检测装置，其特征在于，包括：

图像确定单元，用于确定待检测显著目标的图像；

时间步展开单元，用于按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

卷积特征获取单元，用于使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征；

注意单元，用于对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；所述注意性特征是包含引起视觉注意的信息的特征；

显著图确定单元，用于根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

35.一种电子设备，其特征在于，包括：

存储器，以及处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

确定待检测显著目标的图像；

获得所述图像的至少两个卷积级别的卷积特征；

对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；所述注意性特征是包含引起视觉注意的信息的特征；

根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

36.一种电子设备，其特征在于，包括：

存储器，以及处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

确定待检测显著目标的图像；

按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征；

对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；所述注意性特征是包含引起视觉注意的信息的特征；

根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

37.一种存储设备，其特征在于，存储有指令，所述指令能够被处理器加载并执行以下步骤：

确定待检测显著目标的图像；

获得所述图像的至少两个卷积级别的卷积特征；

对不同卷积级别的卷积特征进行注意性处理，得到不同注意阶段的注意性特征；所述注意性特征是包含引起视觉注意的信息的特征；

根据不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

38.一种存储设备，其特征在于，存储有指令，所述指令能够被处理器加载并执行以下步骤：

确定待检测显著目标的图像；

按照时间步展开用于检测显著目标的引入至少一次递归连接的卷积神经网络，得到至少两个时间步网络；

使用至少两个时间步网络，获得所述图像的至少两个时间步网络的卷积特征；

对至少两个时间步网络的卷积特征进行注意性处理，得到所述图像的至少两个时间步网络的不同注意阶段的注意性特征；所述注意性特征是包含引起视觉注意的信息的特征；

根据所述至少两个时间步网络的不同注意阶段的注意性特征，得到用于显示所述图像的显著目标的显著图。

Images