CN110610184A - 图像的显著目标的检测方法、装置及设备 - Google Patents
图像的显著目标的检测方法、装置及设备 Download PDFInfo
- Publication number
- CN110610184A CN110610184A CN201810622029.1A CN201810622029A CN110610184A CN 110610184 A CN110610184 A CN 110610184A CN 201810622029 A CN201810622029 A CN 201810622029A CN 110610184 A CN110610184 A CN 110610184A
- Authority
- CN
- China
- Prior art keywords
- convolution
- level
- feature
- image
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像的显著目标的检测方法，包括：确定待检测显著目标的图像；获得所述图像的至少两个卷积级别的深度特征；将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。以解决现有的图像的显著目标的检测技术难以得到理想的显著目标检测结果的问题。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像的显著目标的检测方法、装置、电子设备以及存储设备。本申请还涉及第二种图像的显著目标的检测方法、装置、电子设备以及存储设备。
背景技术
图像是重要的信息载体，定位一幅图像的显著目标以获得人们感兴趣的信息尤为重要。图像的显著目标的检测方法是为了代替或部分代替人眼视觉功能来定位一幅图像的显著目标，常应用于目标跟踪、行人再识别以及图像场景分类等领域。所谓显著目标，是图像中最受人眼关注的区域。
目前，随着深度学习的发展，卷积神经网络已经广泛地应用于图像处理技术领域，在图像的显著目标的检测技术中也取得了不错的结果。现有的基于卷积神经网络的图像的显著目标的检测方法中，一方面采用相加或级连的方式融合卷积神经网络中不同层次的信息，不能充分利用不同层次的信息来定位图像的显著目标的位置，另一方面，一般通过堆叠单一尺度的卷积层以及池化层来提取图像的深度特征，导致了卷积神经网络具有有限的感知域，以这种方式得到的深度特征无法包含丰富的关于显著目标的上下文信息。因此，现有的图像的显著目标的检测技术存在难以得到理想的显著目标检测结果的问题。
发明内容
本申请提供图像的显著目标的检测方法，以解决现有的图像的显著目标的检测技术难以得到理想的显著目标检测结果的问题。
本申请提供一种图像的显著目标的检测方法，包括：
确定待检测显著目标的图像；
获得所述图像的至少两个卷积级别的深度特征；
将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述获得所述图像的至少两个卷积级别的深度特征，包括：使用删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络获得所述图像的至少两个卷积级别的深度特征。
可选的，所述删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络包含至少两个级别的卷积模块；
所述获得所述图像的至少两个卷积级别的深度特征，包括：使用删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络的至少两个级别的卷积模块，获得分别对应每个级别的卷积模块的深度特征；
所述将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，包括：将对应每个级别的卷积模块的深度特征与对应相邻级别的卷积模块的深度特征进行融合，得到对应每个级别的卷积模块的融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据对应每个卷积级别的卷积模块的融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述至少两个级别的卷积模块包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；
其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含三个卷积层，所述第四级别卷积模块包含三个卷积层，所述第五级别卷积模块包含三个卷积层。
可选的，所述获得所述图像的至少两个卷积级别的深度特征，包括：
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积层对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
所述将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，包括：将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征。
可选的，所述将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，包括：
将当前卷积级别的深度特征与相邻浅层卷积级别的深度特征进行融合，得到当前卷积级别的第一融合特征；
将当前卷积级别的深度特征与相邻深层卷积级别的深度特征进行融合，得到当前卷积级别的第二融合特征；
将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据每个卷积级别的第三融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，按照下述公式得到当前卷积级别的第一融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第一融合特征；表示第i卷积级别的相邻浅层卷积级别的第一融合特征；表示第i卷积级别的深度特征；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Down()表示2倍下采样操作；表示第i卷积级别的相邻浅层卷积级别的信息通过下采样操作传递到第i卷积级别时进行卷积操作使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数。
可选的，按照下述公式得到当前卷积级别的第二融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第二融合特征；表示第i卷积级别的相邻深层卷积级别的第二融合特征；表示第i卷积级别的深度特征；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Up()表示上采样操作；表示第i卷积级别的相邻深层卷积级别的信息通过上采样操作传递到第i卷积级别时进行卷积操作使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数。
可选的，按照下述公式将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第三融合特征；表示第i卷积级别的第一融合特征；表示第i卷积级别的第二融合特征；Cat()表示在通道级别的级连操作；θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；表示第i卷积级别得到第三融合特征进行卷积操作使用的权重和偏置参数。
可选的，按照下述公式得到当前卷积级别的第一融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第一融合特征；表示第i卷积级别的相邻浅层卷积级别的第一融合特征；表示第i卷积级别的深度特征；表示第i卷积级别的相邻浅层卷积级别的深度特征；表示第i卷积级别的门函数使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Down()表示2倍下采样操作；为用于控制信息传输率的门函数，具体采用： 表示点乘操作。
可选的，按照下述公式得到当前卷积级别的第二融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第二融合特征；表示第i卷积级别的相邻深层卷积级别的第二融合特征；表示第i卷积级别的深度特征；表示第i卷积级别的相邻深层卷积级别的深度特征；表示第i卷积级别的门函数使用的权重和偏置参数；表示第i卷积级别进行卷积操作得到第二融合特征时使用的权重和偏置参数；表示第i卷积级别的相邻深层卷积级别向第i卷积级别传递信息进行卷积操作时使用的权重和偏置参数；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Up()表示上采样操作；为用于控制信息传输率的门函数，具体采用： 表示点乘操作。
可选的，所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：
如果当前卷积级别为最深层卷积级别，则根据最深层卷积级别的融合特征，得到最深层卷积级别的显著图；
如果当前卷积级别为非最深层卷积级别，则根据当前卷积级别的融合特征以及相邻深层卷积级别的显著图，得到当前卷积级别的显著图；
将最浅层卷积级别的显著图作为用于显示所述图像的显著目标的显著图。
可选的，按照下述公式得到用于显示所述图像的显著目标的显著图：
其中，i表示当前卷积级别为第i卷积级别；Si表示第i卷积级别的显著图；表示第i卷积级别的融合特征；表示第i卷积级别根据融合特征得到第i卷积级别的显著图时进行卷积操作使用的权重和偏置参数；Si+1表示第i卷积级别的相邻深层卷积级别的显著图；表示计算出最深层卷积级别的显著图；表示逐级计算出非最深层卷积级别的显著图，最终得到S1，将S1作为用于显示所述图像的显著目标的显著图。
可选的，所述图像的显著目标的检测方法，还包括：
根据显示图像的显著目标的真值图和显著图，训练用于得到显著图的训练模型。
本申请还提供第二种图像的显著目标的检测方法，包括：
确定待检测显著目标的图像；
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述空洞卷积模块为包括并行的具有不同空洞参数的多个空洞卷积层的空洞卷积模块。
可选的，所述包括并行的具有不同空洞参数的多个空洞卷积层的空洞卷积模块，包括具有相同卷积核的四个空洞卷积层。
可选的，所述四个空洞卷积层的空洞参数分别为：1、3、5、7。
可选的，所述根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图，包括：
将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征，包括：
将当前卷积级别的第二深度特征与相邻浅层卷积级别的第二深度特征进行融合，得到当前卷积级别的第一融合特征；
将当前卷积级别的第二深度特征与相邻深层卷积级别的第二深度特征进行融合，得到当前卷积级别的第二融合特征；
将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据每个卷积级别的第三融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：
如果当前卷积级别为最深层卷积级别，则根据最深层卷积级别的融合特征，得到最深层卷积级别的显著图；
如果当前卷积级别为非最深层卷积级别，则根据当前卷积级别的融合特征以及相邻深层卷积级别的显著图，得到当前卷积级别的显著图；
将最浅层卷积级别的显著图作为用于显示所述图像的显著目标的显著图。
本申请还提供一种图像的显著目标的检测装置，包括：
图像确定单元，用于确定待检测显著目标的图像；
深度特征获取单元，用于获得所述图像的至少两个卷积级别的深度特征；
融合特征获取单元，用于将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；
显著图确定单元，用于根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
本申请还提供第二种图像的显著目标的检测装置，包括：
图像确定单元，用于确定待检测显著目标的图像；
深度特征获取单元，用于使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
第二深度特征获取单元，用于使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
显著图确定单元，用于根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
本申请还提供一种电子设备，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
确定待检测显著目标的图像；
获得所述图像的至少两个卷积级别的深度特征；
将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
本申请还提供第二种电子设备，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
确定待检测显著目标的图像；
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
本申请还提供一种存储设备，存储有指令，所述指令能够被处理器加载并执行以下步骤：
确定待检测显著目标的图像；
获得所述图像的至少两个卷积级别的深度特征；
将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
本申请还提供第二种存储设备，存储有指令，所述指令能够被处理器加载并执行以下步骤：
确定待检测显著目标的图像；
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
与现有技术相比，本申请具有以下优点：
本申请提供的一种图像的显著目标的检测方法，通过获得待检测显著目标的图像的多个卷积级别的深度特征，将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，充分利用了不同层次的信息来定位图像的显著目标的位置，从而解决了难以得到理想的显著目标检测结果的问题。
本申请提供的第二种图像的显著目标的检测方法，通过获得待检测显著目标的图像的多个卷积级别的第一深度特征，使用空洞卷积模块对每个第一深度特征进行处理，得到多个卷积级别的第二深度特征，根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图，由于所述第二深度特征是通过空洞卷积模块的处理，因此是包含了显著目标的多尺度信息，解决了难以得到理想的显著目标检测结果的问题。
附图说明
图1是本申请第一实施例提供的图像的显著目标的检测方法的处理流程图；
图2是本申请第一实施例包含的一种卷积神经网络的网络层次示意图；
图3是本申请第一实施例包含的一种卷积神经网络的结构示意图；
图4是本申请第一实施例包含的卷积神经网络产生的显著图示例；
图5是本申请第二实施例提供的图像的显著目标的检测方法的处理流程图；
图6本申请第二实施例包含的一种卷积神经网络的结构示意图；
图7是本申请第三实施例提供的图像的显著目标的检测装置的示意图；
图8是本申请第四实施例提供的图像的显著目标的检测装置的示意图；
图9是本申请第五实施例提供的电子设备的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请提供一种图像的显著目标的检测方法、装置、电子设备及存储设备。本申请同时涉及第二种图像的显著目标的检测方法、装置、电子设备及存储设备。在下面的实施例中逐一进行详细说明。
本申请第一实施例提供一种图像的显著目标的检测方法。
以下结合图1至图4对本申请第一实施例提供的一种图像的显著目标的检测方法进行说明。
图1所示的图像的显著目标的检测方法，包括：步骤S101至步骤S104。
步骤S101，确定待检测显著目标的图像。
本申请第一实施例提供的图像的显著目标的检测方法，利用多层卷积神经网络检测图像的显著目标，能代替或部分代替人眼视觉功能来获取图像中人们感兴趣的信息，可以为后续更高层次的图像检测处理做准备。
本实施例中，包含以VGG-16卷积神经网络为基础设计的多卷积级别的卷积神经网络，将浅层卷积级别产生的关于显著目标的丰富细节信息和深层卷积级别产生的关于显著目标的丰富语义信息融合在一起，从而得到更加鲁棒的显著目标的上下文信息，产生像素级别的理想的显著目标检测结果。所谓浅层卷积级别和深层卷积级别，是按照卷积神经网络的输入的传输方向的网络层次意义上的浅层卷积级别或深层卷积级别，相对于一个层次的卷积级别，沿网络浅层方向的相邻的卷积级别称为相邻浅层卷积级别，沿网络深层方向的相邻的卷积级别称为相邻深层卷积级别。例如，图2示出了本申请实施例的卷积神经网络的网络层次，图中包含Conv1、Conv2、Conv3、Conv4、Conv5共五个级别的卷积模块，沿输入图像→Conv1→Conv2→Conv3→Conv4→Conv5的传输方向为网络深层方向，沿Conv5→Conv4→Conv3→Conv2→Conv1的传输方向为网络浅层方向，以Conv2为例，Conv1为Conv2的相邻浅层卷积级别，Conv3为Conv2的相邻深层卷积级别。
本步骤是确定待检测显著目标的图像。
所述图像作为卷积神经网络的输入，输入到卷积网络中以便后续提取所述图像的深度特征。
步骤S102，获得所述图像的至少两个卷积级别的深度特征。
本步骤是获得图像的多个卷积级别的深度特征。所述深度特征为包含图像的显著目标的上下文信息的特征，所述上下文信息为图像中与显著目标相邻的部分或全部信息。
本实施例中，由卷积模块提取的信息称为深度特征，卷积神经网络中每个卷积级别的卷积模块处理后得到相应卷积级别的深度特征。沿用图2所示的卷积神经网络的例子，将一幅图像A输入到图示的卷积神经网络的卷积模块Conv1，Conv1处理后得到图像A的第一卷积级别的深度特征，也是最浅层卷积级别的深度特征，沿输入图像→Conv1→Conv2→Conv3→Conv4→Conv5的传输方向，每个级别的卷积模块处理后得到相应卷积级别的深度特征，例如，Conv2处理后得到的信息是第二卷积级别的深度特征，Conv5处理后得到的信息是第五卷积级别的深度特征，对于图示这个包含五个级别的卷积神经网络来说，得到的深度特征就是最深卷积级别的深度特征。
本申请实施例中，包含基于VGG-16卷积神经网络设计的能够更好的适应于检测图像的显著目标的卷积神经网络。所谓VGG-16卷积神经网络，是一种深度卷积神经网络模型，包括13个卷积层和3个全连接层。
本申请实施例设计的应用于图像的显著目标检测的卷积神经网络，为删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络，包含至少两个级别的卷积模块，以实现不同卷积级别的深度特征所包含的显著目标的信息在不同卷积级别之间传递，从而使得不同卷积级别的深度特征能够进行融合。去掉最后一个级别的池化层，可以保持最后一个级别得到的细节信息。相应的，本步骤为使用删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络获得所述图像的至少两个卷积级别的深度特征。一个具体的优选实施方式包括：使用删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络的至少两个级别的卷积模块，获得分别对应每个级别的卷积模块的深度特征；相应的后续处理包括：将对应每个级别的卷积模块的深度特征与对应相邻级别的卷积模块的深度特征进行融合，得到对应每个级别的卷积模块的融合特征；根据对应每个卷积级别的卷积模块的融合特征，得到用于显示所述图像的显著目标的显著图。
需要说明的是，相邻两个卷积级别的卷积模块，较浅层的卷积模块的输出可以直接用于较深层的卷积模块的输入，也可以是另一种情况：当一个级别的卷积模块不是最深级别的卷积模块，则该卷积级别的卷积模块可以连接池化层，所述池化层用于整合当前级别的卷积模块输出的深度特征，将整合后的深度特征用于相邻的深层卷积级别的卷积模块的输入。
举例如下：图3示出了本申请第一实施例包含的一种卷积神经网络的结构示意图，图中深度特征提取模块301为除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络，具体包括第一级别卷积模块(Conv1-2)、第二级别卷积模块(Conv2-2)、第三级别卷积模块(Conv3-3)、第四级别卷积模块(Conv4-3)和第五级别卷积模块(Conv5-3)；其中，Conv1-2包含两个卷积层，Conv2-2包含两个卷积层，Conv3-3包含三个卷积层，Conv4-3包含三个卷积层，Conv5-3包含三个卷积层。通过Conv1-2、Conv1-2、Conv3-3、Conv4-3、Conv5-3五个卷积模块可以得到五个级别的深度特征，这五个级别的深度特征分别包含了图像的显著目标的不同级别的上下文信息，这些深度特征后续用于确定图像的显著图。具体的，Conv1-2的第2卷积层可以作为输出层获得图像的第一卷积级别的深度特征；Conv2-2的第2卷积层可以作为输出层获得图像的第二卷积级别的深度特征；Conv3-3的第3卷积层可以作为输出层获得图像的第三卷积级别的深度特征；Conv4-3的第3卷积层可以作为输出层获得图像的第四卷积级别的深度特征；Conv5-3的第3卷积层可以作为输出层获得图像的第五卷积级别的深度特征。
步骤S103，将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征。
本步骤是融合相邻卷积级别的深度特征，得到每个卷积级别的融合特征，使用融合特征确定图像的显著图。浅层卷积级别的卷积模块可以获取到图像的显著目标的上下文的细节信息，深层卷积级别的卷积模块能够获取到图像的显著目标的更为丰富的语义信息，将浅层卷积级别的细节信息和深层卷积级别的语义信息融合起来用于确定图像的显著图，能够得到更为准确的理想的显著图。
本申请实施例中，采用下述处理，将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，包括：
将当前卷积级别的深度特征与相邻浅层卷积级别的深度特征进行融合，得到当前卷积级别的第一融合特征；
将当前卷积级别的深度特征与相邻深层卷积级别的深度特征进行融合，得到当前卷积级别的第二融合特征；
将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征；
相应的，所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据每个卷积级别的第三融合特征，得到用于显示所述图像的显著目标的显著图。
优选的，按照下述公式得到当前卷积级别的第一融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第一融合特征；表示第i卷积级别的相邻浅层卷积级别的第一融合特征；表示第i卷积级别的深度特征；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Down()表示2倍下采样操作；表示第i卷积级别的相邻浅层卷积级别的信息通过下采样操作传递到第i卷积级别时进行卷积操作使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数。
优选的，按照下述公式得到当前卷积级别的第二融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第二融合特征；表示第i卷积级别的相邻深层卷积级别的第二融合特征；表示第i卷积级别的深度特征；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Up()表示上采样操作；表示第i卷积级别的相邻深层卷积级别的信息通过上采样操作传递到第i卷积级别时进行卷积操作使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数。
优选的，按照下述公式将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第三融合特征；表示第i卷积级别的第一融合特征；表示第i卷积级别的第二融合特征；Cat()表示在通道级别的级连操作；θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；表示第i卷积级别得到第三融合特征进行卷积操作使用的权重和偏置参数。
本申请实施例还提供另一个优选方式计算前卷积级别的第一融合特征和第二融合特征，即：增加门函数用于控制信息传输率。通过在信息传递中加入门函数，可以使得有益的信息得到传递，而冗余的信息则被抑制。当门函数为0，当前特征信息不会被传到其他卷积层中。其中，门函数采用sigmoid函数。
具体的，按照下述公式得到当前卷积级别的第一融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第一融合特征；表示第i卷积级别的相邻浅层卷积级别的第一融合特征；表示第i卷积级别的深度特征；表示第i卷积级别的相邻浅层卷积级别的深度特征；表示第i卷积级别的门函数使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Down()表示2倍下采样操作；为用于控制信息传输率的门函数，具体采用： 表示点乘操作。
按照下述公式得到当前卷积级别的第二融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第二融合特征；表示第i卷积级别的相邻深层卷积级别的第二融合特征；表示第i卷积级别的深度特征；表示第i卷积级别的相邻深层卷积级别的深度特征；表示第i卷积级别的门函数使用的权重和偏置参数；表示第i卷积级别进行卷积操作得到第二融合特征时使用的权重和偏置参数；表示第i卷积级别的相邻深层卷积级别向第i卷积级别传递信息进行卷积操作时使用的权重和偏置参数；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Up()表示上采样操作；为用于控制信息传输率的门函数，具体采用： 表示点乘操作。
沿用图3所示的一种卷积神经网络的例子。获得深度特征提取模块301中的每个卷积模块的融合特征，具体处理步骤包括：
S-1：从图中左侧输入的图像(实际图像可以为彩色，附图中的灰色图为示例)提取出深度特征：
F＝{fi,i＝1,...,5}；
其中，i表示五个卷积模块的序号。
S-2：对于每个特征fi，使用空洞卷积层302进一步处理得到：
其中，相对于fi具有更丰富的显著目标的上下文信息。
S-3：根据空洞卷积层302得到的作为双向信息传递模块303的输入，以为例，由双向信息传递模块303采用公式(1)或(4)、(2)或(5)得到每个卷积模块的融合特征：所述融合特征，既包含了充分的上下文信息，也蕴含了多级深度特征中的信息。
本申请实施例中提供的一个优选实施方式，包括在删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络中增加空洞卷积层，在获取融合特征之前对所述图像的至少两个卷积级别的深度特征进一步处理，可以扩大感知域，从而能获得具有不同感知域的深度特征，适应图像的显著目标的复杂情形，例如，不同图像的显著目标数目，以及位置形状等是复杂多变的。其中，所谓感知域，也称感受野(receptive field)，是卷积神经网络每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小。具体处理包括：
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积层对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
所述将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，包括：将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征。
步骤S104，根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
本步骤是确定所述图像的显著图。
本申请实施例中，通过下述处理，根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：
如果当前卷积级别为最深层卷积级别，则根据最深层卷积级别的融合特征，得到最深层卷积级别的显著图；
如果当前卷积级别为非最深层卷积级别，则根据当前卷积级别的融合特征以及相邻深层卷积级别的显著图，得到当前卷积级别的显著图；
将最浅层卷积级别的显著图作为用于显示所述图像的显著目标的显著图。
由于每个卷积级别的融合特征包含了显著目标的充分的上下文信息，也蕴含了多级深度特征中的信息，因此根据所述融合特征得到的显著目标检测结果更为准确。
具体的，按照下述公式得到用于显示所述图像的显著目标的显著图：
其中，i表示当前卷积级别为第i卷积级别；Si表示第i卷积级别的显著图；表示第i卷积级别的融合特征；表示第i卷积级别根据融合特征得到第i卷积级别的显著图时进行卷积操作使用的权重和偏置参数；Si+1表示第i卷积级别的相邻深层卷积级别的显著图；表示计算出最深层卷积级别的显著图；表示逐级计算出非最深层卷积级别的显著图，最终得到S1，将S1作为用于显示所述图像的显著目标的显著图。公式(6)将从深层卷积级别中得到的显著性检测结果逐渐的传送到浅层卷积级别的网络当中，从而可以得到与输入图像等分辨率的检测结果。
沿用图3所示的一种卷积神经网络的例子。在步骤S103中获得深度特征提取模块301中的每个卷积模块的融合特征后，进行下述处理：
以的输入，作为显著图确定模块304的输入，通过公式(6)以由粗糙到细节的方式融合多级深度特征并产生用于显示显著目标的显著图。
继续沿用上述例子，以输入图像的尺寸为256*256为例说明从输入到最终产生显著图的处理过程。例如，当输入图像的尺寸为256*256时，对应的特征图尺寸分别为256*256，128*128，64*64，32*32，16*16，进而由这些特征图得到的显著图尺寸分别为256*256，128*128，64*64，32*32，16*16。将以上五种卷积同时送入本实施例提供的卷积神经网络进行处理，得到五种蕴含了多尺度的信息的深度特征，并且对不同卷积级别的特征的信息融合，然后利用由粗到细的方式得到不同尺度的显著图并将这五种不同尺度的显著图融合产生和输入图像尺寸一致的显著图。对于conv5-3得到的特征，先利用一层1*1的卷积产生一幅2通道的显著图，该显著图的第一个通道表示每个像素属于前景的前景概率(前景概率即为显著目标的概率)，另一个通道则表示该像素属于背景的概率，从而得到了16*16*2的显著图。为了将其与conv4-3相结合，现对其进行2倍上采样。而对conv4-3也使用1*1卷积层(与conv5-3不共享)产生尺寸为32*32*2的显著图，并将其与conv5-3的上采样显著图相加从而得到conv4-3层次的显著图。以此类推，进而得到conv1-2的结果，该结果的尺寸为256*256*2与输入图像的尺寸一致，将表示像素前景概率的通道作为网络的最终输出结果。
本申请实施例中，还根据显示图像的显著目标的真值图和显著图，训练用于得到显著图的训练模型。具体的，所述训练模型是本申请实施例中包含的卷积神经网络。所谓显著目标的真值图，是对应原图的0-1二值图，值为1的像素点即属于显著目标，值为0的像素点为背景。卷积神经网络输出图像的显著图越接近于真值图，则应用卷积神经网络对图像的显著性检测结果越准确，对于卷积神经网络的训练目标是使得通过卷积神经网络产生的显著图中像素的显著性概率得分尽可能的与真值接近。对所述卷积神经网络进行训练的具体处理，包括：
获得图像的显著目标检测的真值图；
将所述真值图与卷积神经网络产生的显著图的交叉熵损失函数作为卷积神经网络的训练目标函数；
通过使得所述交叉熵损失函数最小化得到训练好的卷积神经网络。
图4是本申请实施例包含的真值图和通过本实施例提供的卷积神经网络产生的显著图的示意图。401是待检测显著目标的原图，402是401对应的显著目标的真值图，403是通过本实施例提供的卷积神经网络产生的显著图。本申请实施例中，将402和403作为训练本实施例提供的卷积神经网络的一个训练样本。
进一步的，本申请实施例中，还包括使用训练好的卷积神经网络对图像进行显著性检查，得到用于显示图像的显著目标的显著图。
具体的，所述交叉熵损失函数，为：
其中，lx,y∈{0,1}表示像素(x，y)真值标签，Px,y是通过卷积神经网络检测出的显著目标在像素(x,y)显著性概率。
优选的，采用随机梯度下降算法对所述卷积神经网络进行训练，使得所述交叉熵损失函数最小化得到训练好的卷积神经网络。
以本申请第一实施例为基础，本申请第二实施例提供第二种图像的显著目标的检测方法。本申请第二实施例的描述仅是简单描述，相关部分请参见本申请第一实施例的对应的说明。
以下结合图5至图6对本申请第二实施例提供的图像的显著目标的检测方法进行说明。
图5所示的图像的显著目标的检测方法，包括：步骤S501至步骤S504。
步骤S501，确定待检测显著目标的图像。
本申请第二实施例提供的图像的显著目标的检测方法，包含以VGG-16卷积神经网络为基础设计的多卷积级别的卷积神经网络。所谓VGG-16卷积神经网络，是一种深度卷积神经网络模型，包括13个卷积层和3个全连接层。
具体的，本实施例包含的应用于图像的显著目标检测的卷积神经网络，为删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络,包含不同级别的卷积模块，浅层卷积级别的卷积模块产生关于显著目标的丰富细节信息和深层卷积级别的卷积模块产生关于显著目标的丰富语义信息。去掉最后一个级别的池化层，可以保持最后一个级别得到的细节信息。
所谓浅层卷积级别和深层卷积级别，是按照卷积神经网络的输入的传输方向的网络层次意义上的浅层卷积级别或深层卷积级别，相对于一个层次的卷积级别，沿网络浅层方向的相邻的卷积级别称为相邻浅层卷积级别，沿网络深层方向的相邻的卷积级别称为相邻深层卷积级别。
为了能够更好的适应于检测图像的显著目标，引入空洞卷积模块来扩展所述卷积神经网络的感知域。具体的，在用于检测图像的显著目标的多层卷积神经网络中使用空洞卷积模块，在获取融合特征之前对所述图像的至少两个卷积级别的深度特征进一步处理，可以扩大感知域，从而能获得具有不同感知域的深度特征，适应图像的显著目标的复杂情形，例如，不同图像的显著目标数目，以及位置形状等是复杂多变的。
本步骤是确定待检测显著目标的图像。
所述图像作为卷积神经网络的输入，输入到卷积网络中以便后续提取所述图像的深度特征。
步骤S502，使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征。
本步骤是提取每个卷积模块的第一深度特征。
由卷积模块提取的信息称为深度特征，卷积神经网络中每个卷积级别的卷积模块处理后得到相应卷积级别的深度特征。
举例如下：图6所示的一种卷积神经网络，深度特征提取模块601输出每个级别的第一深度特征。将一幅图像A输入到图示的卷积神经网络的卷积模块Conv1，Conv1处理后得到图像A的第一卷积级别的第一深度特征，也是最浅层卷积级别的第一深度特征，Conv2处理后得到的信息是第二卷积级别的第一深度特征，，Conv3处理后得到的信息是第三卷积级别的第一深度特征，Conv4处理后得到的信息是第四卷积级别的第一深度特征，Conv5处理后得到的信息是第五卷积级别的第一深度特征。五个级别的第一深度特征用F＝{fi,i＝1,...,5}表示。
步骤S503，使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征。
本步骤是通过空洞卷积模块根据步骤S502得到的每个第一深度特征得到第二深度特征。
本实施例包含的空洞卷积模块，为包括并行的具有不同空洞参数的多个空洞卷积层的空洞卷积模块，优选的，所述四个空洞卷积层的空洞参数分别为：1、3、5、7。优选的，所述空洞卷积模块，包括具有相同卷积核的四个空洞卷积层，这四个空洞卷积模块为并行结构。空洞卷积能够在扩大网络感知域的同时保证不提升网络的参数量，通过并行的四个空洞卷积的处理可以得到具有不同感知域的第二深度特征。进一步的，在通道级别的级连将四个特征相结合，使得第二深度特征包含显著目标的丰富的上下文信息。
沿用图6所示的卷积神经网络的例子。空洞卷积模块602根据五个级别的第一深度特征F＝{fi,i＝1,...,5}，输出五个级别的第二深度特征用于后续进行图像的显著目标预测。
步骤S504，根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
本步骤是得到用于显示所述图像的显著目标的显著图。
本申请实施例中，通过下述处理，根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图，包括：
将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
具体的，将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征，包括下述处理：
将当前卷积级别的第二深度特征与相邻浅层卷积级别的第二深度特征进行融合，得到当前卷积级别的第一融合特征；
将当前卷积级别的第二深度特征与相邻深层卷积级别的第二深度特征进行融合，得到当前卷积级别的第二融合特征；
将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据每个卷积级别的第三融合特征，得到用于显示所述图像的显著目标的显著图。
优选的，通过下述处理根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：
如果当前卷积级别为最深层卷积级别，则根据最深层卷积级别的融合特征，得到最深层卷积级别的显著图；
如果当前卷积级别为非最深层卷积级别，则根据当前卷积级别的融合特征以及相邻深层卷积级别的显著图，得到当前卷积级别的显著图；
将最浅层卷积级别的显著图作为用于显示所述图像的显著目标的显著图。
与本申请第一实施例相对应，本申请第三实施例还提供了一种图像的显著目标的检测装置。
参照图7，其示出了本申请第三实施例提供的图像的显著目标的检测装置示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见方法实施例的对应说明即可。
图7所示的图像的显著目标的检测装置，包括：
图像确定单元701，用于确定待检测显著目标的图像；
深度特征获取单元702，用于获得所述图像的至少两个卷积级别的深度特征；
融合特征获取单元703，用于将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；
显著图确定单元704，用于根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述深度特征获取单元702，具体用于：使用删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络获得所述图像的至少两个卷积级别的深度特征。
可选的，所述删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络包含至少两个级别的卷积模块；
所述获得所述图像的至少两个卷积级别的深度特征，包括：使用删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络的至少两个级别的卷积模块，获得分别对应每个级别的卷积模块的深度特征；
所述将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，包括：将对应每个级别的卷积模块的深度特征与对应相邻级别的卷积模块的深度特征进行融合，得到对应每个级别的卷积模块的融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据对应每个卷积级别的卷积模块的融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述至少两个级别的卷积模块包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；
其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含三个卷积层，所述第四级别卷积模块包含三个卷积层，所述第五级别卷积模块包含三个卷积层。
可选的，深度特征获取单元702包括空洞卷积子单元，所述空洞卷积子单元，用于：
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积层对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
所述将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，包括：将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征。
可选的，所述融合特征获取单元703，具体用于：
将当前卷积级别的深度特征与相邻浅层卷积级别的深度特征进行融合，得到当前卷积级别的第一融合特征；
将当前卷积级别的深度特征与相邻深层卷积级别的深度特征进行融合，得到当前卷积级别的第二融合特征；
将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据每个卷积级别的第三融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，按照下述公式得到当前卷积级别的第一融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第一融合特征；表示第i卷积级别的相邻浅层卷积级别的第一融合特征；表示第i卷积级别的深度特征；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Down()表示2倍下采样操作；表示第i卷积级别的相邻浅层卷积级别的信息通过下采样操作传递到第i卷积级别时进行卷积操作使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数。
可选的，按照下述公式得到当前卷积级别的第二融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第二融合特征；表示第i卷积级别的相邻深层卷积级别的第二融合特征；表示第i卷积级别的深度特征；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Up()表示上采样操作；表示第i卷积级别的相邻深层卷积级别的信息通过上采样操作传递到第i卷积级别时进行卷积操作使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数。
可选的，按照下述公式将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第三融合特征；表示第i卷积级别的第一融合特征；表示第i卷积级别的第二融合特征；Cat()表示在通道级别的级连操作；θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；表示第i卷积级别得到第三融合特征进行卷积操作使用的权重和偏置参数。
可选的，按照下述公式得到当前卷积级别的第一融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第一融合特征；表示第i卷积级别的相邻浅层卷积级别的第一融合特征；表示第i卷积级别的深度特征；表示第i卷积级别的相邻浅层卷积级别的深度特征；表示第i卷积级别的门函数使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Down()表示2倍下采样操作；为用于控制信息传输率的门函数，具体采用： 表示点乘操作。
可选的，按照下述公式得到当前卷积级别的第二融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第二融合特征；表示第i卷积级别的相邻深层卷积级别的第二融合特征；表示第i卷积级别的深度特征；表示第i卷积级别的相邻深层卷积级别的深度特征；表示第i卷积级别的门函数使用的权重和偏置参数；表示第i卷积级别进行卷积操作得到第二融合特征时使用的权重和偏置参数；表示第i卷积级别的相邻深层卷积级别向第i卷积级别传递信息进行卷积操作时使用的权重和偏置参数；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Up()表示上采样操作；为用于控制信息传输率的门函数，具体采用： 表示点乘操作。
可选的，所述显著图确定单元704，具体用于：
如果当前卷积级别为最深层卷积级别，则根据最深层卷积级别的融合特征，得到最深层卷积级别的显著图；
如果当前卷积级别为非最深层卷积级别，则根据当前卷积级别的融合特征以及相邻深层卷积级别的显著图，得到当前卷积级别的显著图；
将最浅层卷积级别的显著图作为用于显示所述图像的显著目标的显著图。
可选的，按照下述公式得到用于显示所述图像的显著目标的显著图：
其中，i表示当前卷积级别为第i卷积级别；Si表示第i卷积级别的显著图；表示第i卷积级别的融合特征；表示第i卷积级别根据融合特征得到第i卷积级别的显著图时进行卷积操作使用的权重和偏置参数；Si+1表示第i卷积级别的相邻深层卷积级别的显著图；表示计算出最深层卷积级别的显著图；表示逐级计算出非最深层卷积级别的显著图，最终得到S1，将S1作为用于显示所述图像的显著目标的显著图。
可选的，所述图像的显著目标的检测装置，还包括训练单元，所述训练单元用于：
根据显示图像的显著目标的真值图和显著图，训练用于得到显著图的训练模型。
与本申请第二实施例相对应，本申请第四实施例还提供了第二种图像的显著目标的检测装置。
参照图8，其示出了本申请第四实施例提供的图像的显著目标的检测装置示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见方法实施例的对应说明即可。
图8所示的图像的显著目标的检测装置，包括：
图像确定单元801，用于确定待检测显著目标的图像；
深度特征获取单元802，用于使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
第二深度特征获取单元803，用于使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
显著图确定单元804，用于根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述空洞卷积模块为包括并行的具有不同空洞参数的多个空洞卷积层的空洞卷积模块。
可选的，所述包括并行的具有不同空洞参数的多个空洞卷积层的空洞卷积模块，包括具有相同卷积核的四个空洞卷积层。
可选的，所述四个空洞卷积层的空洞参数分别为：1、3、5、7。
可选的，所述显著图确定单元804，具体用于：
将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述显著图确定单元804包含融合子单元，所述融合子单元用于：
将当前卷积级别的第二深度特征与相邻浅层卷积级别的第二深度特征进行融合，得到当前卷积级别的第一融合特征；
将当前卷积级别的第二深度特征与相邻深层卷积级别的第二深度特征进行融合，得到当前卷积级别的第二融合特征；
将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据每个卷积级别的第三融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述融合子单元，具体用于：
如果当前卷积级别为最深层卷积级别，则根据最深层卷积级别的融合特征，得到最深层卷积级别的显著图；
如果当前卷积级别为非最深层卷积级别，则根据当前卷积级别的融合特征以及相邻深层卷积级别的显著图，得到当前卷积级别的显著图；
将最浅层卷积级别的显著图作为用于显示所述图像的显著目标的显著图。
本申请第五实施例还提供了一种用于实现第一实施例提供的图像的显著目标的检测方法的电子设备。
参照图9，其示出了本申请第五实施例提供的一种电子设备的示意图。
本申请第五实施例提供的所述电子设备实施例描述得比较简单，相关的部分请参见上述相应的方法的实施例的对应说明即可。
图9所示的一种电子设备，包括：
存储器901，以及处理器902；
所述存储器901用于存储计算机可执行指令，所述处理器902用于执行所述计算机可执行指令：
确定待检测显著目标的图像；
获得所述图像的至少两个卷积级别的深度特征；
将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述处理器902还用于执行下述计算机可执行指令：使用删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络获得所述图像的至少两个卷积级别的深度特征。
可选的，所述删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络包含至少两个级别的卷积模块；相应的，所述处理器902还用于执行下述计算机可执行指令：
使用删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络的至少两个级别的卷积模块，获得分别对应每个级别的卷积模块的深度特征；
将对应每个级别的卷积模块的深度特征与对应相邻级别的卷积模块的深度特征进行融合，得到对应每个级别的卷积模块的融合特征；
根据对应每个卷积级别的卷积模块的融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述至少两个级别的卷积模块包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；
其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含三个卷积层，所述第四级别卷积模块包含三个卷积层，所述第五级别卷积模块包含三个卷积层。
可选的，所述处理器902还用于执行下述计算机可执行指令：
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积层对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
所述将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，包括：将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征。
可选的，所述处理器902还用于执行下述计算机可执行指令：
将当前卷积级别的深度特征与相邻浅层卷积级别的深度特征进行融合，得到当前卷积级别的第一融合特征；
将当前卷积级别的深度特征与相邻深层卷积级别的深度特征进行融合，得到当前卷积级别的第二融合特征；
将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据每个卷积级别的第三融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，按照下述公式得到当前卷积级别的第一融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第一融合特征；表示第i卷积级别的相邻浅层卷积级别的第一融合特征；表示第i卷积级别的深度特征；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Down()表示2倍下采样操作；表示第i卷积级别的相邻浅层卷积级别的信息通过下采样操作传递到第i卷积级别时进行卷积操作使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数。
可选的，按照下述公式得到当前卷积级别的第二融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第二融合特征；表示第i卷积级别的相邻深层卷积级别的第二融合特征；表示第i卷积级别的深度特征；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Up()表示上采样操作；表示第i卷积级别的相邻深层卷积级别的信息通过上采样操作传递到第i卷积级别时进行卷积操作使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数。
可选的，按照下述公式将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第三融合特征；表示第i卷积级别的第一融合特征；表示第i卷积级别的第二融合特征；Cat()表示在通道级别的级连操作；θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；表示第i卷积级别得到第三融合特征进行卷积操作使用的权重和偏置参数。
可选的，按照下述公式得到当前卷积级别的第一融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第一融合特征；表示第i卷积级别的相邻浅层卷积级别的第一融合特征；表示第i卷积级别的深度特征；表示第i卷积级别的相邻浅层卷积级别的深度特征；表示第i卷积级别的门函数使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Down()表示2倍下采样操作；为用于控制信息传输率的门函数，具体采用： 表示点乘操作。
可选的，按照下述公式得到当前卷积级别的第二融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第二融合特征；表示第i卷积级别的相邻深层卷积级别的第二融合特征；表示第i卷积级别的深度特征；表示第i卷积级别的相邻深层卷积级别的深度特征；表示第i卷积级别的门函数使用的权重和偏置参数；表示第i卷积级别进行卷积操作得到第二融合特征时使用的权重和偏置参数；表示第i卷积级别的相邻深层卷积级别向第i卷积级别传递信息进行卷积操作时使用的权重和偏置参数；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Up()表示上采样操作；为用于控制信息传输率的门函数，具体采用： 表示点乘操作。
可选的，所述处理器902还用于执行下述计算机可执行指令：
如果当前卷积级别为最深层卷积级别，则根据最深层卷积级别的融合特征，得到最深层卷积级别的显著图；
如果当前卷积级别为非最深层卷积级别，则根据当前卷积级别的融合特征以及相邻深层卷积级别的显著图，得到当前卷积级别的显著图；
将最浅层卷积级别的显著图作为用于显示所述图像的显著目标的显著图。
可选的，按照下述公式得到用于显示所述图像的显著目标的显著图：
其中，i表示当前卷积级别为第i卷积级别；Si表示第i卷积级别的显著图；表示第i卷积级别的融合特征；表示第i卷积级别根据融合特征得到第i卷积级别的显著图时进行卷积操作使用的权重和偏置参数；Si+1表示第i卷积级别的相邻深层卷积级别的显著图；表示计算出最深层卷积级别的显著图；表示逐级计算出非最深层卷积级别的显著图，最终得到S1，将S1作为用于显示所述图像的显著目标的显著图。
可选的，所述处理器902还用于执行下述计算机可执行指令：
根据显示图像的显著目标的真值图和显著图，训练用于得到显著图的训练模型。
本申请第六实施例还提供了一种用于实现第二实施例提供的图像的显著目标的检测方法的电子设备。所述电子设备的示意图类似于图9。
本申请第六实施例提供的所述电子设备实施例描述得比较简单，相关的部分请参见上述相应的方法的实施例的对应说明即可。
本申请第六实施例提供的电子设备，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
确定待检测显著目标的图像；
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述空洞卷积模块为包括并行的具有不同空洞参数的多个空洞卷积层的空洞卷积模块。
可选的，所述包括并行的具有不同空洞参数的多个空洞卷积层的空洞卷积模块，包括具有相同卷积核的四个空洞卷积层。
可选的，所述四个空洞卷积层的空洞参数分别为：1、3、5、7。
可选的，所述处理器还用于执行下述计算机可执行指令：
将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述处理器还用于执行下述计算机可执行指令：
将当前卷积级别的第二深度特征与相邻浅层卷积级别的第二深度特征进行融合，得到当前卷积级别的第一融合特征；
将当前卷积级别的第二深度特征与相邻深层卷积级别的第二深度特征进行融合，得到当前卷积级别的第二融合特征；
将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据每个卷积级别的第三融合特征，得到用于显示所述图像的显著目标的显著图。
可选的，所述处理器还用于执行下述计算机可执行指令：
如果当前卷积级别为最深层卷积级别，则根据最深层卷积级别的融合特征，得到最深层卷积级别的显著图；
如果当前卷积级别为非最深层卷积级别，则根据当前卷积级别的融合特征以及相邻深层卷积级别的显著图，得到当前卷积级别的显著图；
将最浅层卷积级别的显著图作为用于显示所述图像的显著目标的显著图。
本申请第七实施例还提供一种用于第一实施例提供的图像的显著目标的检测方法的存储设备实施例，其描述得比较简单，相关的部分请参见上述方法的实施例的对应说明即可。
本申请第七实施例提供一种存储设备，存储有指令，所述指令能够被处理器加载并执行以下步骤：
确定待检测显著目标的图像；
获得所述图像的至少两个卷积级别的深度特征；
将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
本申请第八实施例还提供一种用于第二实施例提供的图像的显著目标的检测方法的存储设备实施例，其描述得比较简单，相关的部分请参见上述方法的实施例的对应说明即可。
本申请第八实施例提供一种存储设备，存储有指令，所述指令能够被处理器加载并执行以下步骤：
确定待检测显著目标的图像；
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (27)
1.一种图像的显著目标的检测方法，其特征在于，包括：
确定待检测显著目标的图像；
获得所述图像的至少两个卷积级别的深度特征；
将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
2.根据权利要求1所述的方法，其特征在于，所述获得所述图像的至少两个卷积级别的深度特征，包括：使用删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络获得所述图像的至少两个卷积级别的深度特征。
3.根据权利要求2所述的方法，其特征在于，所述删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络包含至少两个级别的卷积模块；
所述获得所述图像的至少两个卷积级别的深度特征，包括：使用删除全连接层以及最后一个级别的池化层后的VGG-16卷积神经网络的至少两个级别的卷积模块，获得分别对应每个级别的卷积模块的深度特征；
所述将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，包括：将对应每个级别的卷积模块的深度特征与对应相邻级别的卷积模块的深度特征进行融合，得到对应每个级别的卷积模块的融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据对应每个卷积级别的卷积模块的融合特征，得到用于显示所述图像的显著目标的显著图。
4.根据权利要求3所述的方法，其特征在于，所述至少两个级别的卷积模块包括第一级别卷积模块、第二级别卷积模块、第三级别卷积模块、第四级别卷积模块和第五级别卷积模块；
其中，所述第一级别卷积模块包含两个卷积层，所述第二级别卷积模块包含两个卷积层，所述第三级别卷积模块包含三个卷积层，所述第四级别卷积模块包含三个卷积层，所述第五级别卷积模块包含三个卷积层。
5.根据权利要求1所述的方法，其特征在于，所述获得所述图像的至少两个卷积级别的深度特征，包括：
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积层对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
所述将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，包括：将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征。
6.根据权利要求1所述的方法，其特征在于，所述将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征，包括：
将当前卷积级别的深度特征与相邻浅层卷积级别的深度特征进行融合，得到当前卷积级别的第一融合特征；
将当前卷积级别的深度特征与相邻深层卷积级别的深度特征进行融合，得到当前卷积级别的第二融合特征；
将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据每个卷积级别的第三融合特征，得到用于显示所述图像的显著目标的显著图。
7.根据权利要求6所述的方法，其特征在于，按照下述公式得到当前卷积级别的第一融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第一融合特征；表示第i卷积级别的相邻浅层卷积级别的第一融合特征；表示第i卷积级别的深度特征；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Down()表示2倍下采样操作；表示第i卷积级别的相邻浅层卷积级别的信息通过下采样操作传递到第i卷积级别时进行卷积操作使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数。
8.根据权利要求6所述的方法，其特征在于，按照下述公式得到当前卷积级别的第二融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第二融合特征；表示第i卷积级别的相邻深层卷积级别的第二融合特征；表示第i卷积级别的深度特征；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Up()表示上采样操作；表示第i卷积级别的相邻深层卷积级别的信息通过上采样操作传递到第i卷积级别时进行卷积操作使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数。
9.根据权利要求6所述的方法，其特征在于，按照下述公式将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第三融合特征；表示第i卷积级别的第一融合特征；表示第i卷积级别的第二融合特征；Cat()表示在通道级别的级连操作；θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；表示第i卷积级别得到第三融合特征进行卷积操作使用的权重和偏置参数。
10.根据权利要求6所述的方法，其特征在于，按照下述公式得到当前卷积级别的第一融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第一融合特征；表示第i卷积级别的相邻浅层卷积级别的第一融合特征；表示第i卷积级别的深度特征；表示第i卷积级别的相邻浅层卷积级别的深度特征；表示第i卷积级别的门函数使用的权重和偏置参数；表示第i卷积级别进行卷积操作时使用的权重和偏置参数；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Down()表示2倍下采样操作；为用于控制信息传输率的门函数，具体采用： 表示点乘操作。
11.根据权利要求6所述的方法，其特征在于，按照下述公式得到当前卷积级别的第二融合特征：
其中，i表示当前卷积级别为第i卷积级别；表示第i卷积级别的第二融合特征；表示第i卷积级别的相邻深层卷积级别的第二融合特征；表示第i卷积级别的深度特征；表示第i卷积级别的相邻深层卷积级别的深度特征；表示第i卷积级别的门函数使用的权重和偏置参数；表示第i卷积级别进行卷积操作得到第二融合特征时使用的权重和偏置参数；表示第i卷积级别的相邻深层卷积级别向第i卷积级别传递信息进行卷积操作时使用的权重和偏置参数；Conv(*,θ)表示卷积操作，θ表示卷积网络Conv(*,θ)的权重和偏置参数；表示ReLU激活函数；Up()表示上采样操作；为用于控制信息传输率的门函数，具体采用： 表示点乘操作。
12.根据权利要求1所述的方法，其特征在于，所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：
如果当前卷积级别为最深层卷积级别，则根据最深层卷积级别的融合特征，得到最深层卷积级别的显著图；
如果当前卷积级别为非最深层卷积级别，则根据当前卷积级别的融合特征以及相邻深层卷积级别的显著图，得到当前卷积级别的显著图；
将最浅层卷积级别的显著图作为用于显示所述图像的显著目标的显著图。
13.根据权利要求1所述的方法，其特征在于，按照下述公式得到用于显示所述图像的显著目标的显著图：
其中，i表示当前卷积级别为第i卷积级别；Si表示第i卷积级别的显著图；表示第i卷积级别的融合特征；表示第i卷积级别根据融合特征得到第i卷积级别的显著图时进行卷积操作使用的权重和偏置参数；Si+1表示第i卷积级别的相邻深层卷积级别的显著图；表示计算出最深层卷积级别的显著图；表示逐级计算出非最深层卷积级别的显著图，最终得到S1，将S1作为用于显示所述图像的显著目标的显著图。
14.根据权利要求1所述的方法，其特征在于，还包括：
根据显示图像的显著目标的真值图和显著图，训练用于得到显著图的训练模型。
15.一种图像的显著目标的检测方法，其特征在于，包括：
确定待检测显著目标的图像；
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
16.根据权利要求15所述的方法，其特征在于，所述空洞卷积模块为包括并行的具有不同空洞参数的多个空洞卷积层的空洞卷积模块。
17.根据权利要求15所述的方法，其特征在于，所述包括并行的具有不同空洞参数的多个空洞卷积层的空洞卷积模块，包括具有相同卷积核的四个空洞卷积层。
18.根据权利要求15所述的方法，其特征在于，所述四个空洞卷积层的空洞参数分别为：1、3、5、7。
19.根据权利要求15所述的方法，其特征在于，所述根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图，包括：
将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
20.根据权利要求19所述的方法，其特征在于，所述将每个卷积级别的第二深度特征与相邻卷积级别的第二深度特征进行融合，得到每个卷积级别的融合特征，包括：
将当前卷积级别的第二深度特征与相邻浅层卷积级别的第二深度特征进行融合，得到当前卷积级别的第一融合特征；
将当前卷积级别的第二深度特征与相邻深层卷积级别的第二深度特征进行融合，得到当前卷积级别的第二融合特征；
将所述第一融合特征与所述第二融合特征进行融合，得到当前卷积级别的第三融合特征；
所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：根据每个卷积级别的第三融合特征，得到用于显示所述图像的显著目标的显著图。
21.根据权利要求19所述的方法，其特征在于，所述根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图，包括：
如果当前卷积级别为最深层卷积级别，则根据最深层卷积级别的融合特征，得到最深层卷积级别的显著图；
如果当前卷积级别为非最深层卷积级别，则根据当前卷积级别的融合特征以及相邻深层卷积级别的显著图，得到当前卷积级别的显著图；
将最浅层卷积级别的显著图作为用于显示所述图像的显著目标的显著图。
22.一种图像的显著目标的检测装置，其特征在于，包括：
图像确定单元，用于确定待检测显著目标的图像；
深度特征获取单元，用于获得所述图像的至少两个卷积级别的深度特征；
融合特征获取单元，用于将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；
显著图确定单元，用于根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
23.一种图像的显著目标的检测装置，其特征在于，包括：
图像确定单元，用于确定待检测显著目标的图像；
深度特征获取单元，用于使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
第二深度特征获取单元，用于使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
显著图确定单元，用于根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
24.一种电子设备，其特征在于，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
确定待检测显著目标的图像；
获得所述图像的至少两个卷积级别的深度特征；
将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
25.一种电子设备，其特征在于，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
确定待检测显著目标的图像；
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
26.一种存储设备，其特征在于，存储有指令，所述指令能够被处理器加载并执行以下步骤：
确定待检测显著目标的图像；
获得所述图像的至少两个卷积级别的深度特征；
将每个卷积级别的深度特征与相邻卷积级别的深度特征进行融合，得到每个卷积级别的融合特征；
根据每个卷积级别的融合特征，得到用于显示所述图像的显著目标的显著图。
27.一种存储设备，其特征在于，存储有指令，所述指令能够被处理器加载并执行以下步骤：
确定待检测显著目标的图像；
使用卷积神经网络中的至少两个级别的卷积模块，获得所述图像的至少两个卷积级别的第一深度特征；
使用空洞卷积模块对每个第一深度特征进行处理，得到至少两个卷积级别的第二深度特征；
根据每个卷积级别的第二深度特征，得到用于显示所述图像的显著目标的显著图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810622029.1A CN110610184B (zh) | 2018-06-15 | 2018-06-15 | 图像的显著目标的检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810622029.1A CN110610184B (zh) | 2018-06-15 | 2018-06-15 | 图像的显著目标的检测方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110610184A true CN110610184A (zh) | 2019-12-24 |
| CN110610184B CN110610184B (zh) | 2023-05-12 |
Family
ID=68888497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810622029.1A Active CN110610184B (zh) | 2018-06-15 | 2018-06-15 | 图像的显著目标的检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110610184B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191736A (zh) * | 2020-01-05 | 2020-05-22 | 西安电子科技大学 | 基于深度特征交叉融合的高光谱图像分类方法 |
| CN111428805A (zh) * | 2020-04-01 | 2020-07-17 | 南开大学 | 显著性物体的检测方法、装置、存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803071A (zh) * | 2016-12-29 | 2017-06-06 | 浙江大华技术股份有限公司 | 一种图像中的物体检测方法及装置 |
| CN107169487A (zh) * | 2017-04-19 | 2017-09-15 | 西安电子科技大学 | 基于超像素分割及深度特征定位的显著性目标检测方法 |
| CN107316058A (zh) * | 2017-06-15 | 2017-11-03 | 国家新闻出版广电总局广播科学研究院 | 通过提高目标分类和定位准确度改善目标检测性能的方法 |
| CN107578060A (zh) * | 2017-08-14 | 2018-01-12 | 电子科技大学 | 一种基于可判别区域的深度神经网络用于菜品图像分类的方法 |
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN107871142A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 一种基于深度卷积对抗网络模型的空洞卷积方法 |
-
2018
- 2018-06-15 CN CN201810622029.1A patent/CN110610184B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN106803071A (zh) * | 2016-12-29 | 2017-06-06 | 浙江大华技术股份有限公司 | 一种图像中的物体检测方法及装置 |
| CN107169487A (zh) * | 2017-04-19 | 2017-09-15 | 西安电子科技大学 | 基于超像素分割及深度特征定位的显著性目标检测方法 |
| CN107316058A (zh) * | 2017-06-15 | 2017-11-03 | 国家新闻出版广电总局广播科学研究院 | 通过提高目标分类和定位准确度改善目标检测性能的方法 |
| CN107578060A (zh) * | 2017-08-14 | 2018-01-12 | 电子科技大学 | 一种基于可判别区域的深度神经网络用于菜品图像分类的方法 |
| CN107871142A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 一种基于深度卷积对抗网络模型的空洞卷积方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张松龙等: "基于全部卷积特征融合的显著性检测", 《激光与光电子学进展》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191736A (zh) * | 2020-01-05 | 2020-05-22 | 西安电子科技大学 | 基于深度特征交叉融合的高光谱图像分类方法 |
| CN111428805A (zh) * | 2020-04-01 | 2020-07-17 | 南开大学 | 显著性物体的检测方法、装置、存储介质及电子设备 |
| CN111428805B (zh) * | 2020-04-01 | 2023-04-18 | 南开大学 | 显著性物体的检测方法、模型、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110610184B (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10740640B2 (en) | Image processing method and processing device | |
| CN111915627B (zh) | 语义分割方法、网络、设备及计算机存储介质 | |
| CN111476719B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| KR102315311B1 (ko) | 객체 검출 모델의 학습 방법 및 객체 검출 모델이 실행되는 객체 검출 장치 | |
| CN110782420A (zh) | 一种基于深度学习的小目标特征表示增强方法 | |
| CN111027576B (zh) | 基于协同显著性生成式对抗网络的协同显著性检测方法 | |
| WO2020097401A1 (en) | Identifying image aesthetics using region composition graphs | |
| CN112330684B (zh) | 对象分割方法、装置、计算机设备及存储介质 | |
| CN109074497A (zh) | 使用深度信息识别视频图像序列中的活动 | |
| CN112101344B (zh) | 一种视频文本跟踪方法及装置 | |
| US20230153965A1 (en) | Image processing method and related device | |
| CN114519853A (zh) | 一种基于多模态融合的三维目标检测方法及系统 | |
| CN110610184B (zh) | 图像的显著目标的检测方法、装置及设备 | |
| CN115830449A (zh) | 显式轮廓引导和空间变化上下文增强的遥感目标检测方法 | |
| CN112541394A (zh) | 黑眼圈及鼻炎识别方法、系统及计算机介质 | |
| Fan et al. | A novel sonar target detection and classification algorithm | |
| CN115994558A (zh) | 医学影像编码网络的预训练方法、装置、设备及存储介质 | |
| CN111008294B (zh) | 交通图像处理、图像检索方法及装置 | |
| JP2018120402A (ja) | イベント検出装置、イベント検出方法、プログラム | |
| Wang et al. | Text detection algorithm based on improved YOLOv3 | |
| CN116468702A (zh) | 黄褐斑评估方法、装置、电子设备及计算机可读存储介质 | |
| CN111062385A (zh) | 一种用于图像文本信息检测的网络模型构建方法与系统 | |
| CN110969138A (zh) | 人体姿态估计方法及设备 | |
| CN110610185B (zh) | 图像的显著目标的检测方法、装置及设备 | |
| CN114419693A (zh) | 一种用于人脸深伪检测的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230703 Address after: Room 437, Floor 4, Building 3, No. 969, Wenyi West Road, Wuchang Subdistrict, Yuhang District, Hangzhou City, Zhejiang Province Patentee after: Wuzhou Online E-Commerce (Beijing) Co.,Ltd. Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK Patentee before: ALIBABA GROUP HOLDING Ltd. |