CN115690451B - 一种伪装物体和显著物体联合检测方法和系统 - Google Patents

Abstract

本发明提供一种伪装物体和显著物体联合检测方法和系统，其中方法包括对去除背景只包括显著物体的图像进行缩放；在包含伪装物体的图像和伪装物体真值图像上选取一个目标位置点；将缩放后的去除背景只包括显著物体的图像覆盖到包含伪装物体的图像上以目标位置点为左上角点的区域；提取最终合成图像的多级别的第一伪装物体特征和多级别的第一显著物体特征；过滤多级别的第一伪装物体特征和多级别的第一显著物体特征；采用一层卷积处理多级别的第二伪装物体特征和多级别的第二显著物体特征中的目标特征；约束伪装物体检测和显著物体检测的目标级别的预测结果。本发明能够同时完成伪装物体检测和显著物体检测两个任务，提高检测准确度。

Description

一种伪装物体和显著物体联合检测方法和系统

技术领域

本发明属于图像分割技术领域，尤其涉及一种伪装物体和显著物体联合检测方法和系统。

背景技术

单张图像的伪装物体检测旨在找到具有与其背景非常相似但具有内在不同属性的颜色或图案的物体。相比于普通的物体检测任务，其难度更大，容易被背景噪声干扰。伪装物体检测具有重要实用价值，例如可以用于医学领域，进行息肉分割、肺部感染影像分割，来辅助医生进行诊断。此外，在军事领域可以作为迷彩服设计的评价指标。单张图像的显著物体检测旨在分割场景中最具吸引力的对象，该任务可以看做是与伪装物体检测相对立的任务。显著物体检测在很多视觉任务中起到了至关重要的作用，能够可以辅助很多任务来提升效果，例如在目标检测任务中引入显著图能够使得模型聚焦到待检测的物体，语义分割任务中添加不同物体的显著图能够帮助网络准确地分割出物体。伪装物体检测和显著物体检测现有的方法大多采用深度学习的方法，但一张图像中的伪装物体检测和显著物体检测基本单独实现。

发明内容

本发明针对现有技术中的不足，提供一种伪装物体和显著物体联合检测方法和系统。

第一方面，本发明提供一种伪装物体和显著物体联合检测方法，包括：

将包含显著物体的图像和显著物体真值图像相乘，得到去除背景只包括显著物体的图像；

对去除背景只包括显著物体的图像进行缩放；

在包含伪装物体的图像和伪装物体真值图像上选取一个目标位置点；

将缩放后的去除背景只包括显著物体的图像覆盖到包含伪装物体的图像上以目标位置点为左上角点的区域，得到最终合成图像；

提取最终合成图像的多级别的第一伪装物体特征和多级别的第一显著物体特征；

采用空间注意力机制过滤多级别的第一伪装物体特征和多级别的第一显著物体特征，得到多级别的第二伪装物体特征和多级别的第二显著物体特征；

采用一层卷积处理多级别的第二伪装物体特征和多级别的第二显著物体特征中的目标特征，得到预测结果；

采用对比学习损失约束伪装物体检测和显著物体检测的目标级别的预测结果。

进一步地，所述提取最终合成图像的多级别的第一伪装物体特征和多级别的第一显著物体特征，包括：

采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一伪装物体特征CamF1、CamF2、CamF3和CamF4；

采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一显著物体特征SalF1、SalF2、SalF3和SalF4。

进一步地，所述采用一层卷积处理多级别的第二伪装物体特征和多级别的第二显著物体特征中的目标特征，得到预测结果，包括：

采用一层卷积分别处理第二伪装物体特征Camf4和第二显著物体特征Salf4，得到第四级别的伪装物体预测结果CamP4和显著物体预测结果SalP4；

采用一层卷积处理将第四级别的伪装物体预测结果CamP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的伪装物体预测结果CamP3；

采用一层卷积处理将第四级别的显著物体预测结果SalP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的显著物体预测结果SalP3；

采用一层卷积处理将第三级别的伪装物体预测结果CamP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的伪装物体预测结果CamP2；

采用一层卷积处理将第三级别的显著物体预测结果SalP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的显著物体预测结果SalP2；

采用一层卷积处理将第二级别的伪装物体预测结果CamP2取反并与第二伪装物体特征Camf1和第二显著物体特征Salf1相乘的结果，得到第一级别的伪装物体预测结果CamP1；

采用一层卷积处理将第二级别的显著物体预测结果SalP2取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第一级别的显著物体预测结果SalP1。

进一步地，所述采用对比学习损失约束伪装物体检测和显著物体检测的目标级别的预测结果，包括：

将第一级别的伪装物体预测结果CamP1与最终合成图像相乘，得到第一CamAnchor图；

将伪装物体真值图与最终合成图像相乘，得到第一伪装物体正样本图；

将伪装物体真值图取反并与最终合成图像相乘，得到第一伪装物体负样本图；

对第一CamAnchor图、第一伪装物体正样本图和第一伪装物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图；其中，B为批数，C为通道数；

将第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图的尺寸均修改为B*C，得到第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图；

将第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图分别输入至VGG16网络中，分别得到CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征；

根据CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征构建伪装物体对比学习损失表达式：

其中，CamLoss为伪装物体对比学习损失函数；cos(·)表示两个特征向量之间的余弦相似度；ln(·)表示对数函数；exp(·)表示以自然数e为底的指数函数；τ为温度系数；CamAnchor为CamAnchor特征；CamPos为伪装物体正样本特征；CamNeg为伪装物体负样本特征；

将第一级别的伪装物体预测结果SalP1与最终合成图像相乘，得到第一SalAnchor图；

将显著物体真值图与最终合成图像相乘，得到第一显著物体正样本图；

将显著物体真值图取反并与最终合成图像相乘，得到第一显著物体负样本图；

对第一SalAnchor图、第一显著物体正样本图和第一显著物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图；其中，B为批数，C为通道数；

将第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图的尺寸均修改为B*C，得到第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图；

将第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图分别输入至VGG16网络中，分别得到SalAnchor特征、显著物体正样本特征和显著物体负样本特征；

根据SalAnchor特征、显著物体正样本特征和显著物体负样本特征构建显著物体对比学习损失表达式：

其中，SalLoss为显著物体对比学习损失函数；SalAnchor为SalAnchor特征；SalPos为显著物体正样本特征；SalNeg为显著物体负样本特征。

第二方面，本发明提供一种伪装物体和显著物体联合检测系统，包括：

图像相乘模块，用于将包含显著物体的图像和显著物体真值图像相乘，得到去除背景只包括显著物体的图像；

图像缩放模块，用于对去除背景只包括显著物体的图像进行缩放；

选取模块，用于在包含伪装物体的图像和伪装物体真值图像上选取一个目标位置点；

图像覆盖模块，用于将缩放后的去除背景只包括显著物体的图像覆盖到包含伪装物体的图像上以目标位置点为左上角点的区域，得到最终合成图像；

特征提取模块，用于提取最终合成图像的多级别的第一伪装物体特征和多级别的第一显著物体特征；

特征过滤模块，用于采用空间注意力机制过滤多级别的第一伪装物体特征和多级别的第一显著物体特征，得到多级别的第二伪装物体特征和多级别的第二显著物体特征；

卷积处理模块，用于采用一层卷积处理多级别的第二伪装物体特征和多级别的第二显著物体特征中的目标特征，得到预测结果；

预测结果约束模块，用于采用对比学习损失约束伪装物体检测和显著物体检测的目标级别的预测结果。

进一步地，所述特征提取模块包括：

第一特征提取单元，用于采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一伪装物体特征CamF1、CamF2、CamF3和CamF4；

第二特征提取单元，用于采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一显著物体特征SalF1、SalF2、SalF3和SalF4。

进一步地，所述卷积处理模块包括：

第一卷积处理单元，用于采用一层卷积分别处理第二伪装物体特征Camf4和第二显著物体特征Salf4，得到第四级别的伪装物体预测结果CamP4和显著物体预测结果SalP4；

第二卷积处理单元，用于采用一层卷积处理将第四级别的伪装物体预测结果CamP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的伪装物体预测结果CamP3；

第三卷积处理单元，用于采用一层卷积处理将第四级别的显著物体预测结果SalP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的显著物体预测结果SalP3；

第四卷积处理单元，用于采用一层卷积处理将第三级别的伪装物体预测结果CamP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的伪装物体预测结果CamP2；

第五卷积处理单元，用于采用一层卷积处理将第三级别的显著物体预测结果SalP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的显著物体预测结果SalP2；

第六卷积处理单元，用于采用一层卷积处理将第二级别的伪装物体预测结果CamP2取反并与第二伪装物体特征Camf1和第二显著物体特征Salf1相乘的结果，得到第一级别的伪装物体预测结果CamP1；

第七卷积处理单元，用于采用一层卷积处理将第二级别的显著物体预测结果SalP2取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第一级别的显著物体预测结果SalP1。

进一步地，所述预测结果约束模块包括：

第一图像相乘单元，用于将第一级别的伪装物体预测结果CamP1与最终合成图像相乘，得到第一CamAnchor图；

第二图像相乘单元，用于将伪装物体真值图与最终合成图像相乘，得到第一伪装物体正样本图；

第三图像相乘单元，用于将伪装物体真值图取反并与最终合成图像相乘，得到第一伪装物体负样本图；

第一平均池化单元，用于对第一CamAnchor图、第一伪装物体正样本图和第一伪装物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图；其中，B为批数，C为通道数；

第一图尺寸修改单元，用于将第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图的尺寸均修改为B*C，得到第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图；

第一图输入单元，用于将第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图分别输入至VGG16网络中，分别得到CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征；

第一构建单元，用于根据CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征构建伪装物体对比学习损失表达式：

其中，CamLoss为伪装物体对比学习损失函数；cos(·)表示两个特征向量之间的余弦相似度；ln(·)表示对数函数；exp(·)表示以自然数e为底的指数函数；τ为温度系数；CamAnchor为CamAnchor特征；CamPos为伪装物体正样本特征；CamNeg为伪装物体负样本特征；

第四图像相乘单元，用于将第一级别的伪装物体预测结果SalP1与最终合成图像相乘，得到第一SalAnchor图；

第五图像相乘单元，用于将显著物体真值图与最终合成图像相乘，得到第一显著物体正样本图；

第六图像相乘单元，用于将显著物体真值图取反并与最终合成图像相乘，得到第一显著物体负样本图；

第二平均池化单元，用于对第一SalAnchor图、第一显著物体正样本图和第一显著物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图；其中，B为批数，C为通道数；

第二图尺寸修改单元，用于将第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图的尺寸均修改为B*C，得到第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图；

第一图输入单元，用于将第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图分别输入至VGG16网络中，分别得到SalAnchor特征、显著物体正样本特征和显著物体负样本特征；

第一构建单元，用于根据SalAnchor特征、显著物体正样本特征和显著物体负样本特征构建显著物体对比学习损失表达式：

其中，SalLoss为显著物体对比学习损失函数；SalAnchor为SalAnchor特征；SalPos为显著物体正样本特征；SalNeg为显著物体负样本特征。

第三方面，本发明提供一种计算机设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现第一方面所述的伪装物体和显著物体联合检测方法的步骤。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现第一方面所述的伪装物体和显著物体联合检测方法的步骤。

本发明提供一种伪装物体和显著物体联合检测方法和系统，其中方法包括将包含显著物体的图像和显著物体真值图像相乘，得到去除背景只包括显著物体的图像；对去除背景只包括显著物体的图像进行缩放；在包含伪装物体的图像和伪装物体真值图像上选取一个目标位置点；将缩放后的去除背景只包括显著物体的图像覆盖到包含伪装物体的图像上以目标位置点为左上角点的区域，得到最终合成图像；提取最终合成图像的多级别的第一伪装物体特征和多级别的第一显著物体特征；采用空间注意力机制过滤多级别的第一伪装物体特征和多级别的第一显著物体特征，得到多级别的第二伪装物体特征和多级别的第二显著物体特征；采用一层卷积处理多级别的第二伪装物体特征和多级别的第二显著物体特征中的目标特征，得到预测结果；采用对比学习损失约束伪装物体检测和显著物体检测的目标级别的预测结果。本发明基于相似度估计和空间注意力来构建网络模型并利用对比学习进一步提升性能，使得能够同时完成伪装物体检测和显著物体检测两个任务，提高检测准确度。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种伪装物体和显著物体联合检测方法的流程图；

图2为本发明实施例提供的一种伪装物体和显著物体联合检测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一实施例中，如图1所示，本发明实施例提供一种伪装物体和显著物体联合检测方法，包括：

步骤101，将包含显著物体的图像和显著物体真值图像相乘，得到去除背景只包括显著物体的图像。

步骤102，对去除背景只包括显著物体的图像进行缩放。

步骤103，在包含伪装物体的图像和伪装物体真值图像上选取一个目标位置点。

步骤104，将缩放后的去除背景只包括显著物体的图像覆盖到包含伪装物体的图像上以目标位置点为左上角点的区域，得到最终合成图像。

步骤101-104，伪装物体检测和显著物体检测任务都有其对应的数据集，并且RGB图像和真值图像是一一对应的。而本发明需要实现的是输入一张图像，同时得到伪装物体检测结果和显著物体检测结果。因此需要一张RGB图像具有两张真值图像，并且一张图像需要同时包含显著物体与伪装物体。

首先利用现有的显著物体检测数据集，使用显著物体真值图像SalGT和包含显著物体的图像SalImg相乘，得到去除背景只包含显著物体的图像SObject，并对得到的SObject以及显著物体真值图像SalGT进行随机缩放。然后使用现有的伪装物体检测数据集，在包含伪装物体的图像CamImg和其真值图像CamGT上随机选取一个位置(x，y)，将缩放后的SObject覆盖到图像CamImg上以(x，y)为左上角点的区域，得到最终的合成图像Img，将缩放后的SalGT覆盖到尺寸和CamGT相同的全0图像上以(x，y)为左上角点的区域，得到最终的显著物体真值图像SalGT。最后，得到的数据集包括包含显著物体和伪装物体的图像、显著物体的真值图像SalGT以及伪装物体的真值图像CamGT。

步骤105，提取最终合成图像的多级别的第一伪装物体特征和多级别的第一显著物体特征。

采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一伪装物体特征CamF1、CamF2、CamF3和CamF4；采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一显著物体特征SalF1、SalF2、SalF3和SalF4。

对于第一伪装物体特征CamF1、CamF2、CamF3和CamF4，在通道维度进行拼接，尺寸为B*4C*H*W；B、C、H和W依次表示特征图的批数、通道数、高度和宽度，并变换特征图的尺寸B*4C*HW，然后使用两层全连接层得到伪装物体特征向量CamV。对于第一显著物体特征SalF1、SalF2、SalF3和SalF4，在通道维度进行拼接，并变换特征图的尺寸，然后使用两层全连接层得到显著物体特征向量SalV。最后，计算两个特征向量的余弦相似度，作为损失函数对模型进行监督。该损失函数使得伪装物体特征和显著物体特征之间差异变大。

步骤106，采用空间注意力机制过滤多级别的第一伪装物体特征和多级别的第一显著物体特征，得到多级别的第二伪装物体特征和多级别的第二显著物体特征。

对于第一伪装物体特征CamF1、CamF2、CamF3和CamF4以及第一显著物体特征SalF1、SalF2、SalF3和SalF4，计算空间注意力Smask，使用Smask对第一伪装物体特征和第一显著物体特征进行过滤，保留所需要的伪装物体信息和显著物体信息。

空间注意力的具体实现为：

1)对于主干网络输出的两种特征的尺寸B*C*H*W，首先使用一层卷积将通道数下降为八分之一。然后对特征图进行尺寸变换以及转置，尺寸改为B*HW*C//8，得到的结果作为Query特征Q。

2)对主干网络输出的两种特征使用一层卷积来下降通道数，然后将尺寸修改为B*C//8*HW，得到的结果作为Key特征K。

3)对主干网络输出的特征直接进行尺寸变换得到Value特征V，尺寸为B*C*HW。

4)将Q和K相乘得到Smask(B*HW*HW)，对Smask使用Softmax函数进行激活，再将Smask与Value特征V相乘得到过滤后的特征，尺寸为B*C*HW，最后将结果送入一层全连接层，并变换尺寸得到最终结果，尺寸为B*C*H*W。

步骤107，采用一层卷积处理多级别的第二伪装物体特征和多级别的第二显著物体特征中的目标特征，得到预测结果。

采用一层卷积分别处理第二伪装物体特征Camf4和第二显著物体特征Salf4，得到第四级别的伪装物体预测结果CamP4和显著物体预测结果SalP4。

采用一层卷积处理将第四级别的伪装物体预测结果CamP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的伪装物体预测结果CamP3。

采用一层卷积处理将第四级别的显著物体预测结果SalP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的显著物体预测结果SalP3。

采用一层卷积处理将第三级别的伪装物体预测结果CamP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的伪装物体预测结果CamP2。

采用一层卷积处理将第三级别的显著物体预测结果SalP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的显著物体预测结果SalP2。

采用一层卷积处理将第二级别的伪装物体预测结果CamP2取反并与第二伪装物体特征Camf1和第二显著物体特征Salf1相乘的结果，得到第一级别的伪装物体预测结果CamP1。

采用一层卷积处理将第二级别的显著物体预测结果SalP2取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第一级别的显著物体预测结果SalP1。

步骤108，采用对比学习损失约束伪装物体检测和显著物体检测的目标级别的预测结果。

将第一级别的伪装物体预测结果CamP1与最终合成图像相乘，得到第一CamAnchor图。

将伪装物体真值图与最终合成图像相乘，得到第一伪装物体正样本图。

将伪装物体真值图取反并与最终合成图像相乘，得到第一伪装物体负样本图。

对第一CamAnchor图、第一伪装物体正样本图和第一伪装物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图；其中，B为批数，C为通道数。

将第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图的尺寸均修改为B*C，得到第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图。

将第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图分别输入至在ImageNet数据集上预训练好的VGG16网络中，分别得到CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征。

根据CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征构建伪装物体对比学习损失表达式：

其中，CamLoss为伪装物体对比学习损失函数；cos(·)表示两个特征向量之间的余弦相似度；ln(·)表示对数函数；exp(·)表示以自然数e为底的指数函数；τ为温度系数。CamAnchor为CamAnchor特征；CamPos为伪装物体正样本特征；CamNeg为伪装物体负样本特征。

将第一级别的伪装物体预测结果SalP1与最终合成图像相乘，得到第一SalAnchor图。

将显著物体真值图与最终合成图像相乘，得到第一显著物体正样本图。

将显著物体真值图取反并与最终合成图像相乘，得到第一显著物体负样本图。

对第一SalAnchor图、第一显著物体正样本图和第一显著物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图；其中，B为批数，C为通道数。

将第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图的尺寸均修改为B*C，得到第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图。

将第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图分别输入至在ImageNet数据集上预训练好的VGG16网络中，分别得到SalAnchor特征、显著物体正样本特征和显著物体负样本特征。

根据SalAnchor特征、显著物体正样本特征和显著物体负样本特征构建显著物体对比学习损失表达式：

其中，SalLoss为显著物体对比学习损失函数；SalAnchor为SalAnchor特征；SalPos为显著物体正样本特征；SalNeg为显著物体负样本特征。

本实施例提供的伪装物体和显著物体联合检测方法，基于相似度估计和空间注意力来构建网络模型并利用对比学习进一步提升性能，使得能够同时完成伪装物体检测和显著物体检测两个任务，提高检测准确度。

基于同一发明构思，本发明实施例还提供了一种伪装物体和显著物体联合检测系统，由于该系统解决问题的原理与前述伪装物体和显著物体联合检测方法相似，因此该系统的实施可以参见伪装物体和显著物体联合检测方法的实施，重复之处不再赘述。

在另一实施例中，本发明一个实施例提供的伪装物体和显著物体联合检测系统，如图2所示，包括：

图像相乘模块10，用于将包含显著物体的图像和显著物体真值图像相乘，得到去除背景只包括显著物体的图像。

图像缩放模块20，用于对去除背景只包括显著物体的图像进行缩放。

选取模块30，用于在包含伪装物体的图像和伪装物体真值图像上选取一个目标位置点。

图像覆盖模块40，用于将缩放后的去除背景只包括显著物体的图像覆盖到包含伪装物体的图像上以目标位置点为左上角点的区域，得到最终合成图像。

特征提取模块50，用于提取最终合成图像的多级别的第一伪装物体特征和多级别的第一显著物体特征。

特征过滤模块60，用于采用空间注意力机制过滤多级别的第一伪装物体特征和多级别的第一显著物体特征，得到多级别的第二伪装物体特征和多级别的第二显著物体特征。

卷积处理模块70，用于采用一层卷积处理多级别的第二伪装物体特征和多级别的第二显著物体特征中的目标特征，得到预测结果。

预测结果约束模块80，用于采用对比学习损失约束伪装物体检测和显著物体检测的目标级别的预测结果。

可选地，所述特征提取模块包括：

第一特征提取单元，用于采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一伪装物体特征CamF1、CamF2、CamF3和CamF4。

第二特征提取单元，用于采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一显著物体特征SalF1、SalF2、SalF3和SalF4。

可选地，所述卷积处理模块包括：

第一卷积处理单元，用于采用一层卷积分别处理第二伪装物体特征Camf4和第二显著物体特征Salf4，得到第四级别的伪装物体预测结果CamP4和显著物体预测结果SalP4。

第二卷积处理单元，用于采用一层卷积处理将第四级别的伪装物体预测结果CamP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的伪装物体预测结果CamP3。

第三卷积处理单元，用于采用一层卷积处理将第四级别的显著物体预测结果SalP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的显著物体预测结果SalP3。

第四卷积处理单元，用于采用一层卷积处理将第三级别的伪装物体预测结果CamP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的伪装物体预测结果CamP2。

第五卷积处理单元，用于采用一层卷积处理将第三级别的显著物体预测结果SalP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的显著物体预测结果SalP2。

第六卷积处理单元，用于采用一层卷积处理将第二级别的伪装物体预测结果CamP2取反并与第二伪装物体特征Camf1和第二显著物体特征Salf1相乘的结果，得到第一级别的伪装物体预测结果CamP1。

第七卷积处理单元，用于采用一层卷积处理将第二级别的显著物体预测结果SalP2取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第一级别的显著物体预测结果SalP1。

可选地，所述预测结果约束模块包括：

第一图像相乘单元，用于将第一级别的伪装物体预测结果CamP1与最终合成图像相乘，得到第一CamAnchor图。

第二图像相乘单元，用于将伪装物体真值图与最终合成图像相乘，得到第一伪装物体正样本图。

第三图像相乘单元，用于将伪装物体真值图取反并与最终合成图像相乘，得到第一伪装物体负样本图。

第一平均池化单元，用于对第一CamAnchor图、第一伪装物体正样本图和第一伪装物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图；其中，B为批数，C为通道数。

第一图尺寸修改单元，用于将第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图的尺寸均修改为B*C，得到第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图。

第一图输入单元，用于将第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图分别输入至VGG16网络中，分别得到CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征。

第一构建单元，用于根据CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征构建伪装物体对比学习损失表达式：

其中，CamLoss为伪装物体对比学习损失函数；cos(·)表示两个特征向量之间的余弦相似度；ln(·)表示对数函数；exp(·)表示以自然数e为底的指数函数；τ为温度系数；CamAnchor为CamAnchor特征；CamPos为伪装物体正样本特征；CamNeg为伪装物体负样本特征。

第四图像相乘单元，用于将第一级别的伪装物体预测结果SalP1与最终合成图像相乘，得到第一SalAnchor图。

第五图像相乘单元，用于将显著物体真值图与最终合成图像相乘，得到第一显著物体正样本图。

第六图像相乘单元，用于将显著物体真值图取反并与最终合成图像相乘，得到第一显著物体负样本图。

第二平均池化单元，用于对第一SalAnchor图、第一显著物体正样本图和第一显著物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图；其中，B为批数，C为通道数。

第二图尺寸修改单元，用于将第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图的尺寸均修改为B*C，得到第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图。

第一图输入单元，用于将第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图分别输入至VGG16网络中，分别得到SalAnchor特征、显著物体正样本特征和显著物体负样本特征。

第一构建单元，用于根据SalAnchor特征、显著物体正样本特征和显著物体负样本特征构建显著物体对比学习损失表达式：

其中，SalLoss为显著物体对比学习损失函数；SalAnchor为SalAnchor特征；SalPos为显著物体正样本特征；SalNeg为显著物体负样本特征。

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

在另一实施例中，本发明实施例还提供了一种计算机设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的伪装物体和显著物体联合检测方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

在另一实施例中，本发明实施例还提供一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的伪装物体和显著物体联合检测方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。

Claims (6)

1.一种伪装物体和显著物体联合检测方法，其特征在于，包括：

将包含显著物体的图像和显著物体真值图像相乘，得到去除背景只包括显著物体的图像；

对去除背景只包括显著物体的图像进行缩放；

在包含伪装物体的图像和伪装物体真值图像上选取一个目标位置点；

将缩放后的去除背景只包括显著物体的图像覆盖到包含伪装物体的图像上以目标位置点为左上角点的区域，得到最终合成图像；

提取最终合成图像的多级别的第一伪装物体特征和多级别的第一显著物体特征；

采用空间注意力机制过滤多级别的第一伪装物体特征和多级别的第一显著物体特征，得到多级别的第二伪装物体特征和多级别的第二显著物体特征；

采用一层卷积处理多级别的第二伪装物体特征和多级别的第二显著物体特征中的目标特征，得到预测结果；

采用对比学习损失约束伪装物体检测和显著物体检测的目标级别的预测结果；

其中，所述采用一层卷积处理多级别的第二伪装物体特征和多级别的第二显著物体特征中的目标特征，得到预测结果，包括：

采用一层卷积分别处理第二伪装物体特征Camf4和第二显著物体特征Salf4，得到第四级别的伪装物体预测结果CamP4和显著物体预测结果SalP4；

采用一层卷积处理将第四级别的伪装物体预测结果CamP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的伪装物体预测结果CamP3；

采用一层卷积处理将第四级别的显著物体预测结果SalP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的显著物体预测结果SalP3；

采用一层卷积处理将第三级别的伪装物体预测结果CamP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的伪装物体预测结果CamP2；

采用一层卷积处理将第三级别的显著物体预测结果SalP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的显著物体预测结果SalP2；

采用一层卷积处理将第二级别的伪装物体预测结果CamP2取反并与第二伪装物体特征Camf1和第二显著物体特征Salf1相乘的结果，得到第一级别的伪装物体预测结果CamP1；

采用一层卷积处理将第二级别的显著物体预测结果SalP2取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第一级别的显著物体预测结果SalP1；

所述采用对比学习损失约束伪装物体检测和显著物体检测的目标级别的预测结果，包括：

将第一级别的伪装物体预测结果CamP1与最终合成图像相乘，得到第一CamAnchor图；

将伪装物体真值图与最终合成图像相乘，得到第一伪装物体正样本图；

将伪装物体真值图取反并与最终合成图像相乘，得到第一伪装物体负样本图；

对第一CamAnchor图、第一伪装物体正样本图和第一伪装物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图；其中，B为批数，C为通道数；

将第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图的尺寸均修改为B*C，得到第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图；

将第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图分别输入至VGG16网络中，分别得到CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征；

根据CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征构建伪装物体对比学习损失表达式：

其中，CamLoss为伪装物体对比学习损失函数；cos(·)表示两个特征向量之间的余弦相似度；ln(·)表示对数函数；exp(·)表示以自然数e为底的指数函数；τ为温度系数；CamAnchor为CamAnchor特征；CamPos为伪装物体正样本特征；CamNeg为伪装物体负样本特征；

将第一级别的伪装物体预测结果SalP1与最终合成图像相乘，得到第一SalAnchor图；

将显著物体真值图与最终合成图像相乘，得到第一显著物体正样本图；

将显著物体真值图取反并与最终合成图像相乘，得到第一显著物体负样本图；

对第一SalAnchor图、第一显著物体正样本图和第一显著物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图；其中，B为批数，C为通道数；

将第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图的尺寸均修改为B*C，得到第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图；

将第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图分别输入至VGG16网络中，分别得到SalAnchor特征、显著物体正样本特征和显著物体负样本特征；

根据SalAnchor特征、显著物体正样本特征和显著物体负样本特征构建显著物体对比学习损失表达式：

其中，SalLoss为显著物体对比学习损失函数；SalAnchor为SalAnchor特征；SalPos为显著物体正样本特征；SalNeg为显著物体负样本特征。

2.根据权利要求1所述的伪装物体和显著物体联合检测方法，其特征在于，所述提取最终合成图像的多级别的第一伪装物体特征和多级别的第一显著物体特征，包括：

采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一伪装物体特征CamF1、CamF2、CamF3和CamF4；

采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一显著物体特征SalF1、SalF2、SalF3和SalF4。

3.一种伪装物体和显著物体联合检测系统，其特征在于，包括：

图像相乘模块，用于将包含显著物体的图像和显著物体真值图像相乘，得到去除背景只包括显著物体的图像；

图像缩放模块，用于对去除背景只包括显著物体的图像进行缩放；

选取模块，用于在包含伪装物体的图像和伪装物体真值图像上选取一个目标位置点；

图像覆盖模块，用于将缩放后的去除背景只包括显著物体的图像覆盖到包含伪装物体的图像上以目标位置点为左上角点的区域，得到最终合成图像；

特征提取模块，用于提取最终合成图像的多级别的第一伪装物体特征和多级别的第一显著物体特征；

特征过滤模块，用于采用空间注意力机制过滤多级别的第一伪装物体特征和多级别的第一显著物体特征，得到多级别的第二伪装物体特征和多级别的第二显著物体特征；

卷积处理模块，用于采用一层卷积处理多级别的第二伪装物体特征和多级别的第二显著物体特征中的目标特征，得到预测结果；

预测结果约束模块，用于采用对比学习损失约束伪装物体检测和显著物体检测的目标级别的预测结果；

其中，所述卷积处理模块包括：

第一卷积处理单元，用于采用一层卷积分别处理第二伪装物体特征Camf4和第二显著物体特征Salf4，得到第四级别的伪装物体预测结果CamP4和显著物体预测结果SalP4；

第二卷积处理单元，用于采用一层卷积处理将第四级别的伪装物体预测结果CamP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的伪装物体预测结果CamP3；

第三卷积处理单元，用于采用一层卷积处理将第四级别的显著物体预测结果SalP4取反并与第二伪装物体特征Camf3和第二显著物体特征Salf3相乘的结果，得到第三级别的显著物体预测结果SalP3；

第四卷积处理单元，用于采用一层卷积处理将第三级别的伪装物体预测结果CamP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的伪装物体预测结果CamP2；

第五卷积处理单元，用于采用一层卷积处理将第三级别的显著物体预测结果SalP3取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第二级别的显著物体预测结果SalP2；

第六卷积处理单元，用于采用一层卷积处理将第二级别的伪装物体预测结果CamP2取反并与第二伪装物体特征Camf1和第二显著物体特征Salf1相乘的结果，得到第一级别的伪装物体预测结果CamP1；

第七卷积处理单元，用于采用一层卷积处理将第二级别的显著物体预测结果SalP2取反并与第二伪装物体特征Camf2和第二显著物体特征Salf2相乘的结果，得到第一级别的显著物体预测结果SalP1；

所述预测结果约束模块包括：

第一图像相乘单元，用于将第一级别的伪装物体预测结果CamP1与最终合成图像相乘，得到第一CamAnchor图；

第二图像相乘单元，用于将伪装物体真值图与最终合成图像相乘，得到第一伪装物体正样本图；

第三图像相乘单元，用于将伪装物体真值图取反并与最终合成图像相乘，得到第一伪装物体负样本图；

第一平均池化单元，用于对第一CamAnchor图、第一伪装物体正样本图和第一伪装物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图；其中，B为批数，C为通道数；

第一图尺寸修改单元，用于将第二CamAnchor图、第二伪装物体正样本图和第二伪装物体负样本图的尺寸均修改为B*C，得到第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图；

第一图输入单元，用于将第三CamAnchor图、第三伪装物体正样本图和第三伪装物体负样本图分别输入至VGG16网络中，分别得到CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征；

第一构建单元，用于根据CamAnchor特征、伪装物体正样本特征和伪装物体负样本特征构建伪装物体对比学习损失表达式：

其中，CamLoss为伪装物体对比学习损失函数；cos(·)表示两个特征向量之间的余弦相似度；ln(·)表示对数函数；exp(·)表示以自然数e为底的指数函数；τ为温度系数；CamAnchor为CamAnchor特征；CamPos为伪装物体正样本特征；CamNeg为伪装物体负样本特征；

第四图像相乘单元，用于将第一级别的伪装物体预测结果SalP1与最终合成图像相乘，得到第一SalAnchor图；

第五图像相乘单元，用于将显著物体真值图与最终合成图像相乘，得到第一显著物体正样本图；

第六图像相乘单元，用于将显著物体真值图取反并与最终合成图像相乘，得到第一显著物体负样本图；

第二平均池化单元，用于对第一SalAnchor图、第一显著物体正样本图和第一显著物体负样本图分别进行平均池化，分别得到尺寸为B*C*1*1的第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图；其中，B为批数，C为通道数；

第二图尺寸修改单元，用于将第二SalAnchor图、第二显著物体正样本图和第二显著物体负样本图的尺寸均修改为B*C，得到第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图；

第一图输入单元，用于将第三SalAnchor图、第三显著物体正样本图和第三显著物体负样本图分别输入至VGG16网络中，分别得到SalAnchor特征、显著物体正样本特征和显著物体负样本特征；

第一构建单元，用于根据SalAnchor特征、显著物体正样本特征和显著物体负样本特征构建显著物体对比学习损失表达式：

其中，SalLoss为显著物体对比学习损失函数；SalAnchor为SalAnchor特征；SalPos为显著物体正样本特征；SalNeg为显著物体负样本特征。

4.根据权利要求3所述的伪装物体和显著物体联合检测系统，其特征在于，所述特征提取模块包括：

第一特征提取单元，用于采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一伪装物体特征CamF1、CamF2、CamF3和CamF4；

第二特征提取单元，用于采用ImageNet数据集预训练好的Res2Net-50作为主干网络提取四个级别的第一显著物体特征SalF1、SalF2、SalF3和SalF4。

5.一种计算机设备，其特征在于，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现权利要求1-2任一项所述的伪装物体和显著物体联合检测方法的步骤。

6.一种计算机可读存储介质，其特征在于，用于存储计算机程序；计算机程序被处理器执行时实现权利要求1-2任一项所述的伪装物体和显著物体联合检测方法的步骤。