CN114332491A - 一种基于特征重构的显著性目标检测算法 - Google Patents

Abstract

本发明属于显著性目标检测领域，提供了一种基于特征重构的显著性目标检测算法，包括以下步骤：1)首先输入原始RGB图像利用预训练好的ResNet‑50网络进行多层次特征提取；2)然后，使用残差特征重构模块，提取局部和全局上下文信息，聚合上下文信息增强特征中目标的显著性，优化多层次特征。3)随后，引入残差短连接聚合优化后的多层次特征交互多种信息生成具有丰富显著性目标信息的特征表示。4)最后，将特征表示进行降维并激活，使用多次监督策略进行模型训练。通过大量的与现存显著性目标检测方法相比较，本发明基于特征重构的显著性目标检测算法，通过利用精心设计的卷积、空洞卷积以及特征重构操作可以准确预测和分割的显著性目标。

Description

一种基于特征重构的显著性目标检测算法

技术领域：

本发明涉及计算机视觉领域，具体来说，涉及了一种基于特征重构的显著性目标检测算法。

背景技术：

本部分的陈述仅仅是涉及到了与本发明相关的背景技术，并不必然构成现有技术。

受人类视觉注意力机制快速高效处理图像数据的能力所启发，显著性目标检测致力于从图像中快速准确地定位显著性目标并将其完整地从背景中分割出来。由于其出色地处理图像数据的能力，近年来，显著性目标检测作为一个预处理阶段被广泛的应用于计算机视觉领域，例如语义分割、目标追踪、图像检索、目标识别、目标检测等等。

根据模型针对特征选择的不同方式，显著性目标检测模型可以分为两类，一类是基于刺激驱动传统的显著性目标检测模型，另一类是基于数据驱动深度学习的显著性目标检测模型。基于刺激驱动传统的显著性检测模型主要是依赖手工特征和一些低层次的视觉先验信息(如对比度、颜色、纹理)定位显著性目标，然后将其从背景中分割出来。然而，由于传统的显著性目标检测模型不能有效利用高层次的语义信息，使得很难从复杂环境中准确定位显著性目标并完整地将其分割出来。

近年来，随着深度学习的不断发展，大量的基于深度学习的方法开始广泛应用于显著性目标检测领域。基于数据驱动深度学习的显著性目标检测方法利用特征金字塔网络可以处理尺度多变的显著性目标，提取不同层次的多尺度特征，低层次的特征包含大量的局部细节信息可以丰富显著性目标的边缘信息，而高层次的特征包含大量全局语义信息可以帮助准确定位显著性目标，多尺度特征充分高效地利用对于显著性目标检测至关重要。尽管相较于传统的显著性目标检测模型，基于深度学习的显著性目标检测模型性能上有了很大的提升。但是基于深度学习的诸多方法仍然存在很多的限制。第一个限制是多尺度特征无法被充分高效地利用，例如方法DGRL直接利用主干模型中生成的多尺度特征直接进行聚合生成显著性图，这些方法是次优化的，性能无法达到令人满意的效果。基于此受RFB所启发，WU等人提出方法CPD通过直接串联不同感受野的卷积和空洞卷积操作，优化多尺度特征，增加多尺度特征的多样性。然而，直接利用不同感受野卷积和空洞卷积进行特征提取，会丢失部分特征信息，降低模型的性能。同时特征金字塔网络随着多尺度特征不断聚合，高层次特征的语义信息逐渐消释对于低层次特征无法有效指导，使得很难准确定位显著性目标并完整地将其从背景中分割出来。第二个限制是许多模型通过增加网络宽度和深度，提升模型的性能，尽管模型性能有了提升，但由于庞大的网络参数量，使得模型内存过大，大大限制显著性目标检测未来工业化的应用。

发明内容

为了缓解上述问题，我们设计了基于特征重构的显著性目标检测算法，不仅可以高效地利用多尺度特征，而且模型相关参数少和内存小。此方法主要包含两个模块，残差特征重构模块和残差短连接模块。我们设计的残差特征重构模块，利用不同感受野的卷积、空洞卷积以及特征重构操作对多尺度特征进行优化重构，可以有效地增加特征之间的依赖，缓解特征提取过程中由于感受野过大造成局部信息丢失问题，同时我们聚合不同感受野所提取的特征增强特征多样性，优化多尺度特征。残差短连接模块中优化后的多尺度特征可以互补性融合交互多种信息，同时为了更充分利用融合后的特征，我们聚合所有特征用于预测初始显著性图。残差特征重构模块和残差短连接模块的设计，使得模型中冗余参数进一步减少，有效缓解模型内存过大的问题。本发明的技术方案是提供了一种基于特征重构的显著性目标检测算法，该方法包括以下步骤：

1.输入RGB图像，此算法利用从ImageNet中预训练好的 ResNet-50网络进行初始多层次特征提取并对初始多层次进行特征编码，用于后续使用；

1.1)首先，收集整理显著性检测领域相关数据集，如DUTS数据集、ECSSD数据集、DUT-OMRON数据集、HKU-IS数据集、PASCAL-S数据集，用于后续算法训练和测试。

1.2)一种基于特征重构的显著性目标检测方法，根据相关经验利用具有10553张图像的DUTS数据集进行算法训练，然后分别使用ECSSD数据集、DUTS-TE数据集、DUT-OMRON数据集、PASCAL-S数据集以及HKU-IS数据集作为测试数据集检测训练完成后算法的泛化性能。

1.3)进行迁移学习使用从ImageNet中训练好的仅包含所有卷积层的ResNet50网络对输入的DUTS数据集进行最原始多层次特征提取，然后编码多层次特征I{I₁,I₂,I₃,I₄,I₅}。

2.残差特征重构模块通过集成不同提取特征范围的卷积、空洞卷积操作以及特征重构操作从初始多层次特征中高效提取局部和全局上下文信息，聚合上下文信息优化初始多层次特征；

2.1)首先利用不同大小卷积核的卷积操作，在这一阶段中我们设计了卷积核大小为{1,3,5,7}卷积层，为了进一步减少参数在卷积大小为5和7时，我们引入不对称卷积。初始多尺度特征首先进入一个卷积核大小为1的卷积操作中降维到128个通道，然后分别进入不用卷积核大小的卷积操作中，考虑到不同感受野特征之间的关系，我们引入特征重构操作，充分利用所提取到的特征。经过卷积操作后生成多种特征{Z₁,Z₃,Z₅,Z₇}。公式如下：

L_i＝γ(I_i)i＝1，2，3，4，5 (1)

这里γ()是卷积核1×1×128的降维操作，I_i是基础特征提取模块中生成的多尺度特征。

这里σ()是ReLU激活函数，C₁(),C₃(),C₅(),C₇()是卷积核分别为 {1,3,5,7}的卷积操作。I_i是来自基础特征提取模块中提取出的多尺度特征{I₁,I₂,I₃,I₄,I₅}。

2.2)随后利用不同填充率的空洞卷积进一步提取上下文信息，同时引入特征重构操作，不同填充率空洞卷积提取到的特征之间进行优化重构。将生成的多种特征{Z₁,Z₃,Z₅,Z₇}依次输入到填充率分别为 {0,2,4,6}的空洞卷积同时进行特征重构操作中生成最显著特征表示 {W₀,W₂,W₄,W₆}。公式如下：

这里σ是Relu激活函数，M₀，M₂，M₄，M₆是填充率分别为{0,2,4,6}的空洞卷积。Z₁，Z₃，Z₅，Z₇是第一阶段所提取的特征。

2.3)最后将2.2步骤中生成的特征进行聚合，为了保留更多的特征聚合操作中我们引入残差连接，然后聚合后的特征进行特征降维，生成优化特征{O₁,O₂,O₃,O₄,O₅}.公式如下：

O_i＝γ(cat((W_o，W₂，W₄，W₆)_i))i＝1，2，3，4，5 (4) 这里γ是卷积核1×1×128的降维操作，cat是特征聚合操作。

3.通过残差短连接操作，交互包含不同信息的优化后的多层次特征，生成即包含准确显著性目标信息又具有丰富目标边缘细节信息的特征表示；

3.1)将残差特征重构模块中生成的特征{O₁,O₂,O₃,O₄,O₅}作为输入，引入短连接操作通过融合不同层次的多层次特征交互多种信息，同时我们引入残差连接，最终生成最显著特征表示{W₁,W₂,W₃,W₄,W₅}。公式如下：

这里γ表示卷积核为1×1×128的降维卷积操作，Cat表示特征聚合操作。

3.2)为进一步生成高质量特征表示，我们将聚合最显著特征表示同时引入残差连接，最终得到高质量特征表示H，公式如下：

H＝∑(W₁，W₂，W₃，W₄，W₅)， (6)

这里sum(.,.)表示元素级相加操作，W是步骤4.1中生成的多层次特征。

4.将特征表示进行降维激活生成最原始的显著性图，然后使用多次监督策略利用真值标签对算法进行训练，生成损失最小的参数文件；

4.1)来自步骤4.1和步骤4.2中的特征W和特征H，使用一个卷积大小为1×1×1的卷积操作进行特征降维，然后利用sigmoid激活函数激活降维后的特征预测生成最初的显著性图，然后我们使用多次监督策略分别监督特征W{W1,W2,W3,W4,W5}和特征H，优化初始显著性图，进行模型的训练。

这里K＝6是来自步骤4中的特征W和特征H个数，

是每个阶段侧输出的损失函数。

每个阶段的损失函数

被定义为：

这里

和

分别为每个阶段显著性图交叉熵损失函数和iou损失函数。

交叉熵损失函数广泛应用于二值分类和分割，其定义如下：

这里g(x,y)∈[0,1]是像素(x,y)的真值标签。p(x,y)∈[0,1]像素(x,y) 被预测成显著性目标的概率。然而由于交叉熵损失函数仅仅计算的是每个独立像素的损失而忽略图像中的全局结构的损失。为了缓解上述问题，我们引入IOU损失函数可以计算两幅图像整体结构相似度而不是单个独立像素的像素度。它被定义为：

这里g(x,y)∈[0,1]是像素(x,y)的真值标签。p(x,y)∈[0,1]像素(x,y) 被预测成显著性目标的概率。

本发明的优势：本发明一种基于特征重构的显著性目标检测算法高效初始多层次特征，通过使用残差特征重构模块和残差短连接操作高效捕获多层次特征中的局部和全局上下文信息，通过聚合上下文信息提升多层次特征性能充分利用了从预训练好的ResNet50网络中提取的多层次特征性能，然后通过残差短连接操作交互多层次特征中的多种信息，进一步突出特征中的显著性目标及其边缘结构信息。

附图说明

图1一种基于特征重构的显著性目标检测算法流程图

图2残差特征重构模块

图3残差短连接操作

图4网络训练模式图

图5算法定量比较表

图6算法定性比较图

具体实施方式

下面将结合一种基于特征重构的显著性目标检测算法发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，此外，所叙述的实施例仅仅是本发明一部分实施例，而不是所有的实施例。基于本发明中的实施例，本研究方向普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。

本发明的流程图框架如图1所示，本发明一种基于特征重构的显著性目标检测算法，其具体操作说明如下：

1.输入RGB图像，此算法利用从ImageNet中预训练好的 ResNet-50网络进行初始多层次特征提取并对初始多层次进行特征编码，用于后续使用。

近年来，大量的基于深度学习的显著性目标检测方法被提出，众多的显著性目标检测数据集也被收集整理，这里广泛地收集了众多RGB显著性目标检测数据集，然后分为训练数据集和测试数据集。为了提高算法的鲁棒性和泛化性能，在模型训练的过程中我们采用了图像增强操作，例如水平反转、随机剪裁等操作。此发明利用从 ImageNet中预训练好的ResNet50网络作为初始特征提取器，从训练数据中提出初始多层次特征，并进行编码。模型的训练采用端到端的方式，如图4所示。

具体步骤如下：

1.1收集整理显著性检测领域相关数据集，如DUTS数据集、ECSSD 数据集、DUT-OMRON数据集、HKU-IS数据集、PASCAL-S数据集，用于后续算法训练和测试。

1.2基于特征重构的显著性目标检测方法，根据相关经验利用具有10553张图像的DUTS数据集进行算法训练，然后分别使用ECSSD 数据集、DUTS-TE数据集、DUT-OMRON数据集、PASCAL-S数据集以及 HKU-IS数据集作为测试数据集检测训练完成后算法的泛化性能。

1.3进行迁移学习，使用从ImageNet中训练好的仅包含所有卷积层的ResNet50网络对输入的DUTS数据集进行最原始多层次特征提取，然后编码多层次特征I{I₁,I₂,I₃,I₄,I₅}。

2.残差特征重构模块通过集成不同提取特征范围的卷积、空洞卷积操作以及特征重构操作从初始多层次特征中高效提取局部和全局上下文信息，聚合上下文信息优化初始多层次特征，如图3所示；

残差特征重构模块处理来ResNet50网络中的提取的初始多尺度特征，通过具有丰富感受野卷积、空洞卷积和特征重构操作操作，增加特征多样性。刘等人设计了ReceptiveField Block模型，利用不同卷积核大小和空洞卷积进行特征提取，聚合特征增加特征多样性。受RFB所启发，我们设计了残差特征重构模块，不同卷积核和空洞卷积操作基于不同的感受野对特征进行提取，与RFB不同，考虑到同层次不同感受野所提取特征之间的关系，我们对于不同感受野特征进行特征重构，提高特征之间的依赖，缓解局部信息丢失问题。然后不同感受野特征进行聚合操作，进一步增强特征多样性。

具体步骤如下：

2.1首先利用不同大小卷积核的卷积操作，在这一阶段中我们设计了卷积核大小为{1,3,5,7}卷积层，为了进一步减少参数在卷积大小为5和7时，我们引入不对称卷积。初始多尺度特征首先进入一个卷积核大小为1的卷积操作中降维到128个通道，然后分别进入不用卷积核大小的卷积操作中，考虑到不同感受野特征之间的关系，我们引入特征重构操作，充分利用所提取到的特征。经过卷积操作后生成多种特征{Z₁,Z₃,Z₅,Z₇}。公式如下：

L_i＝γ(I_i)i＝L2，3，4，5 (1)

这里γ()是卷积核1×1×128的降维操作，I_i是基础特征提取模块中生成的多尺度特征。

这里σ()是ReLU激活函数，C₁(),C₃(),C₅(),C₇()是卷积核分别为 {1,3,5,7}的卷积操作。I_i是来自基础特征提取模块中提取出的多尺度特征{I₁,I₂,I₃,I₄,I₅}。

2.2随后利用不同填充率的空洞卷积进一步提取上下文信息，同时引入特征重构操作，不同填充率空洞卷积提取到的特征之间进行优化重构。将生成的多种特征{Z₁,Z₃,Z₅,Z₇}依次输入到填充率分别为 {0,2,4,6}的空洞卷积同时进行特征重构操作中生成最显著特征表示 {W₀,W₂,W₄,W₆}。公式如下：

这里σ是Relu激活函数，M₀，M₂，M₄，M₆是填充率分别为{0,2,4,6}的空洞卷积。Z₁，Z₃，Z₅，Z₇是第一阶段所提取的特征。

2.3最后将2.2步骤中生成的特征进行聚合，为了保留更多的特征聚合操作中我们引入残差连接，然后聚合后的特征进行特征降维，生成优化特征{O₁,O₂,O₃,O₄,O₅}.公式如下：

O_i＝γ(cat((W₀，W₂，W₄，W₆)_i))i＝1，2，3，4，5 (4)

这里γ是卷积核1×1×128的降维操作，cat是特征聚合操作。

3.通过残差短连接操作，交互包含不同信息的优化后的多层次特征，生成即包含准确显著性目标信息又具有丰富目标边缘细节信息的特征表示；

多尺度特征对于显著性目标检测领域有着非常重要的作用。高层次特征包含丰富的语义信息，可以帮助从复杂背景中准确地定位显著性目标。而低层次特征具有丰富的细节信息，可以有效地保留分割后的显著性目标的空间细节信息。高低层次特征互补性融合交互信息，可以高效且准确地定位显著性目标并将其完整地从背景中分割出来。然而标准的特征金字塔网络，随着特征不断聚合高层次特征信息逐渐被稀释，使得模型不能够充分利用多尺度特征。基于此我们设计了残差短连接，多尺度特征通过层次化聚合操作，多尺度特征进行互补性融合学习，使得多尺度特征中的信息可以交互，最终生成最显著性的特征表示。

具体步骤如下：

3.1将残差特征重构模块中生成的特征{O₁,O₂,O₃,O₄,O₅}作为输入，引入短连接操作通过融合不同层次的多层次特征交互多种信息，同时我们引入残差连接，最终生成最显著特征表示{W₁,W₂,W₃,W₄,W₅}。公式如下：

这里γ表示卷积核为1×1×128的降维卷积操作，Cat表示特征聚合操作。

3.2为进一步生成高质量特征表示，我们将聚合最显著特征表示同时引入残差连接，最终得到高质量特征表示H，公式如下：

H＝∑(W₁，W₂，W₃，W₄，W₅)， (6)

这里sum(.,.)表示元素级相加操作，W是步骤4.1中生成的多层次特征。

4.将特征表示进行降维激活生成最原始的显著性图，然后使用多次监督策略利用真值标签对算法进行训练，生成损失最小的参数文件；

残差短连接中生成的最显著性特征降维激活生成初始显著性图，我们通过以一种混合损失函数对初始显著性图进行监督，混合损失函数为IOU损失函数和交叉熵损失函数。

具体步骤如下：

4.1来自步骤4.1和步骤4.2中的特征W和特征H，使用一个卷积大小为1×1×1的卷积操作进行特征降维，然后利用sigmoid激活函数激活降维后的特征预测生成最初的显著性图，然后我们使用多次监督策略分别监督特征W{W1,W2,W3,W4,W5}和特征H，优化初始显著性图，进行模型的训练。

这里K＝6是来自步骤4中的特征W和特征H个数，

是每个阶段侧输出的损失函数。

每个阶段的损失函数

被定义为：

这里

和

分别为每个阶段显著性图交叉熵损失函数和iou损失函数。

交叉熵损失函数广泛应用于二值分类和分割，其定义如下：

这里g(x,y)∈[0,1]是像素(x,y)的真值标签。p(x,y)∈[0,1]像素(x,y) 被预测成显著性目标的概率。然而由于交叉熵损失函数仅仅计算的是每个独立像素的损失而忽略图像中的全局结构的损失。为了缓解上述问题，我们引入IOU损失函数可以计算两幅图像整体结构相似度而不是单个独立像素的像素度。它被定义为：

这里g(x,y)∈[0,1]是像素(x,y)的真值标签。p(x,y)∈[0,1]像素(x,y) 被预测成显著性目标的概率。5.利用深度监督模块，对网络进行监督训练。

损失监督模块将关联特征聚合模块中生成的最显著性特征降维激活生成初始显著性图，我们通过以一种混合损失函数对初始显著性图进行监督，混合损失函数为IOU损失函数和交叉熵损失函数。

6.为了充分展示我们模型的高效性和泛化能力我们将我们提出的一种基于特征重构的显著性目标检测算法与当下存在的一些算法进行定性和定量比较，如图5和6所示。

以上所述为本申请优选实施而以，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的保护范围内。

Claims (5)

1.一种基于特征重构的显著性目标检测算法，其特征在于，该算法运行包含以下步骤：

1)输入RGB图像，此算法利用从ImageNet中预训练好的ResNet-50网络进行初始多层次特征提取并对初始多层次进行特征编码，用于后续使用；

2)残差特征重构模块通过集成不同提取特征范围的卷积、空洞卷积操作以及特征重构操作从初始多层次特征中高效提取局部和全局上下文信息，聚合上下文信息优化初始多层次特征；

3)通过残差短连接操作，交互包含不同信息的优化后的多层次特征，生成即包含准确显著性目标信息又具有丰富目标边缘细节信息的特征表示；

4)将特征表示进行降维激活生成最原始的显著性图，然后使用多次监督策略利用真值标签对算法进行训练，生成损失最小的参数文件。

2.根据权利要求1所述的一种基于特征重构的显著性目标检测算法其特征在于：所述步骤1)具体方法是：

2.1)首先，收集整理显著性检测领域相关数据集，如DUTS数据集、ECSSD数据集、DUT-OMRON数据集、HKU-IS数据集、PASCAL-S数据集，用于后续算法训练和测试。

2.2)此专利一种基于特征重构的显著性目标检测方法，根据相关经验利用具有10553张图像的DUTS数据集进行算法训练，然后分别使用ECSSD数据集、DUTS-TE数据集、DUT-OMRON数据集、PASCAL-S 数据集以及HKU-IS数据集作为测试数据集检测训练完成后算法的泛化性能。

2.3)进行迁移学习使用从ImageNet中训练好的仅包含所有卷积层的ResNet50网络对输入的DUTS数据集进行最原始多层次特征提取，然后编码多层次特征I{I₁,I₂,I₃,I₄,I₅}。

3.根据权利要求1所述的一种基于特征重构的显著性目标检测算法其特征在于：所述步骤2)具体方法是：

3.1)首先利用不同大小卷积核的卷积操作，在这一阶段中我们设计了卷积核大小为{1,3,5,7}卷积层，为了进一步减少参数在卷积大小为5和7时，我们引入不对称卷积。初始多尺度特征首先进入一个卷积核大小为1的卷积操作中降维到128个通道，然后分别进入不用卷积核大小的卷积操作中，考虑到不同感受野特征之间的关系，我们引入特征重构操作，充分利用所提取到的特征。经过卷积操作后生成多种特征{Z₁,Z₃,Z₅,Z₇}。公式如下：

L_i＝γ(I_i) i＝1，2，3，4，5 (1)

这里γ()是卷积核1×1×128的降维操作，I_i是基础特征提取模块中生成的多尺度特征。

这里σ()是ReLU激活函数，C₁(),C₃(),C₅(),C₇()是卷积核分别为{1,3,5,7}的卷积操作。I_i是来自基础特征提取模块中提取出的多尺度特征{I₁,I₂,I₃,I₄,I₅}。

3.2)随后利用不同填充率的空洞卷积进一步提取上下文信息，同时引入特征重构操作，不同填充率空洞卷积提取到的特征之间进行优化重构。将生成的多种特征{Z₁,Z₃,Z₅,Z₇}依次输入到填充率分别为{0,2,4,6}的空洞卷积同时进行特征重构操作中生成最显著特征表示{W₀,W₂,W₄,W₆}。公式如下：

这里σ是Relu激活函数，M₀，M₂，M₄，M₆是填充率分别为{0,2,4,6}的空洞卷积。Z₁，Z₃，Z₅，Z₇是第一阶段所提取的特征。

3.3)最后将3.2步骤中生成的特征进行聚合，为了保留更多的特征聚合操作中我们引入残差连接，然后聚合后的特征进行特征降维，生成优化特征{O₁,O₂,O₃,O₄,O₅}.公式如下：

O_i＝γ(cat((W₀，W₂，W₄，W₆)i)) i＝1，2，3，4，5 (4)

这里γ是卷积核1×1×128的降维操作，cat是特征聚合操作。

4.根据权利要求1所述的一种基于特征重构的显著性目标检测算法，其特征在于：所述步骤3)具体方法是：

4.1)将残差特征重构模块中生成的特征{O₁,O₂,O₃,O₄,O₅}作为输入，引入短连接操作通过融合不同层次的多层次特征交互多种信息，同时我们引入残差连接，最终生成最显著特征表示{W₁,W₂,W₃,W₄,W₅}。公式如下：

这里γ表示卷积核为1×1×128的降维卷积操作，Cat表示特征聚合操作。

4.2)为进一步生成高质量特征表示，我们将聚合最显著特征表示同时引入残差连接，最终得到高质量特征表示H，公式如下：

H＝∑(W₁，W₂，W₃，W₄，W₅)， (6)

这里sum(.,.)表示元素级相加操作，W是步骤4.1中生成的多层次特征。

5.根据权利要求1所述的一种基于特征重构的显著性目标检测算法，其特征在于：所述步骤4)具体方法是：

5.1)来自步骤4.1和步骤4.2中的特征W和特征H，使用一个卷积大小为1×1×1的卷积操作进行特征降维，然后利用sigmoid激活函数激活降维后的特征预测生成最初的显著性图，然后我们使用多次监督策略分别监督特征W{W1,W2,W3,W4,W5}和特征H，优化初始显著性图，进行模型的训练。

这里K＝6是来自步骤4中的特征W和特征H个数，

是每个阶段侧输出的损失函数。

每个阶段的损失函数

被定义为：

这里

和

分别为每个阶段显著性图交叉熵损失函数和iou损失函数。

交叉熵损失函数广泛应用于二值分类和分割，其定义如下：

这里g(x,y)∈[0,1]是像素(x,y)的真值标签。p(x,y)∈[0,1]像素(x,y)被预测成显著性目标的概率。然而由于交叉熵损失函数仅仅计算的是每个独立像素的损失而忽略图像中的全局结构的损失。为了缓解上述问题，我们引入IOU损失函数可以计算两幅图像整体结构相似度而不是单个独立像素的像素度。它被定义为：

这里g(x,y)∈[0,1]是像素(x,y)的真值标签。p(x,y)∈[0,1]像素(x,y)被预测成显著性目标的概率。

Images