CN116994006B - 一种融合图像显著性信息的协同显著性检测方法及系统 - Google Patents
一种融合图像显著性信息的协同显著性检测方法及系统 Download PDFInfo
- Publication number
- CN116994006B CN116994006B CN202311254912.7A CN202311254912A CN116994006B CN 116994006 B CN116994006 B CN 116994006B CN 202311254912 A CN202311254912 A CN 202311254912A CN 116994006 B CN116994006 B CN 116994006B
- Authority
- CN
- China
- Prior art keywords
- saliency
- image
- representing
- features
- image group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000002195 synergetic effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000735552 Erythroxylum Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 235000008957 cocaer Nutrition 0.000 description 2
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明针对目前共同显著性目标检测准确率不高的问题，提出一种融合图像显著性信息的协同显著性检测方法及系统，属于计算机视觉技术领域。该方法包括：1）采集图像组，使用EGNet显著性检测算法测出图像组中每幅图像的显著图；2）将图像组经过编码器VGG16网络提取的语义特征和显著图相结合生成显著性特征；3）通过相关性融合模块计算图像组内图像语义特征和显著性特征之间的相关性来生成图像组的一致性特征；4）在图像组内生成正样本和负样本进行对比学习，增强图像组的一致性特征；5）对增强后的图像组的一致性特征进行解码生成协同显著图。本发明通过探索图像显著性信息之间一致性关系，可以更好地检测出共同显著性目标，提高本方法的准确率。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种融合图像显著性信息的协同显著性检测方法及系统。
背景技术
随着科技的高速发展，成像设备如智能手机、监控摄像头和数码相机等可以轻松地获取大量的图像和视频数据，而照片共享网站如百度、Facebook和Flicker等也提供着源源不断的数据。计算机如何帮助人们快速地从这些数据中提取出有用的信息成为了一个亟需解决的问题。协同显著性检测是计算机视觉领域的重要任务，旨在从一组相关的图像中检测和分割出共同的、有吸引力的目标，从而筛选和提取图像组内有用的信息。
2010年，文献("Cosaliency: Where people look when comparing images",Proceedings of the 23nd annual ACM symposium on User interface software andtechnology, 2010: 219-228)首次提出协同显著性检测任务，对一对类似的图像进行协同显著性评估，通过计算图像对的协方差提取图像对的共同显著性信息。该方法适用于早期输入数据为图像对的协同显著性检测。随着十几年的发展，研究者们提出了大量的协同显著性检测方法，并将输入数据从图像对扩展到包含大量图像的图像组。文献("Group-wisedeep co-saliency detection "， Proceedings of the 26th International JointConference on Artificial Intelligence. 2017: 3041-3047.)通过全卷积的网络设计探索图像中像素之间的局部关联性，将网络提取的图像语义特征分为两个分支，一个单独学习每张图像的显著性信息，另一个学习图像组的一致性信息，然后进行合并，通过构建端到端的学习方式生成准确的协同显著图。文献("Detecting Robust Co-Saliency withRecurrent Co-Attention Neural Network",IJCAI,2019:6)提出了用于协同显著性检测的递归协同注意力神经网络，通过递归的方式同时学习单个图像的语义特征和多个图像之间的组特征表示，将组特征表示与单幅图像的特征进行融合来推断出协同显著图。文献("Re-thinking co-salient object detection", IEEE transactions on patternanalysis and machine intelligence, 2021,44(8):4339-4354.)通过一个共同注意投影和一个基本的显著性检测网络，统一地嵌入外观和语义特征，来实现协同显著性目标检测。文献("Deepacg: Co-saliency detection via semantic-aware contrast gromov-wasserstein distance", Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition, 2021: 13703-13712)采用Gromov Wasserstein（GW）距离计算一组图像的相似度并匹配它们的特征，GW距离会避免由于图像风格、色差和对比度等不同所带来的噪声影响，通过预测类别信息来增强前景协同显著性。文献("Groupcollaborative learning for co-salient object detection", Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021: 12288-12298)利用两个不同的图像组进行协作学习，通过挖掘单个图像组的一致性信息和利用两个图像组进行对比学习调节一致性信息，从而有效抑制噪声对象对于输出结果的影响。
协同显著性检测任务是找出一组相关图像的共同显著性目标，而显著性检测任务是找出一张图像中的显著性目标，从定义上来看都是为了模拟人类在观察图像时最先关注的目标物体，所以这两个任务之间存在很大的关联性。
现有技术中，共同显著性目标检测准确率不高。
发明内容
本发明针对现有技术中的不足，提供一种融合图像显著性信息的协同显著性检测方法及系统。
为实现上述目的，本发明采用以下技术方案：
一种融合图像显著性信息的协同显著性检测方法，包括以下步骤：
步骤1、采集图像组，使用EGNet显著性检测算法测出图像组中每幅图像的显著图；
步骤2、将图像组经过编码器VGG16网络提取的语义特征和显著图相结合生成显著性特征；
步骤3、通过相关性融合模块计算图像组内图像的语义特征和显著性特征之间的相关性来生成图像组的一致性特征；
步骤4、在图像组内生成正样本和负样本进行对比学习，增强图像组的一致性特征；
步骤5、对增强后的图像组的一致性特征进行解码生成协同显著图。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤2具体为：
利用编码器VGG16网络提取含有N张图像的图像组的语义特征；
其中，N表示图像组中的图像的张数，C表示单幅图像特征的通道数，H表示单幅图像特征的高，W表示单幅图像特征的宽；
对图像组的语义特征进行L2归一化，将每幅图像的显著图/>调整到/>大小；按照下式生成图像的显著性特征；
；
；
式中，表示过滤掉非显著性信息的第n幅图像的语义特征；H表示单幅图像特征的高，W表示单幅图像特征的宽，/>表示元素相乘，/>是沿图像高方向的索引，/>是沿图像宽方向的索引，/>表示L2范数，/>表示第n幅图像的显著性特征。
进一步地，步骤3具体为：
对语义特征在通道维度上进行L2归一化操作，得到归一化后的特征/>；
其中，N表示图像组中的图像的张数，C表示单幅图像特征的通道数，H表示单幅图像特征的高，W表示单幅图像特征的宽；
将显著性特征作为卷积核对归一化后的特征/>进行卷积操作得到相关图/>，用公式表示为：
；
式中，表示将显著性特征/>作为卷积核进行卷积操作；
将相关图重构为/>，再对重构后的相关图进行L2归一化操作，然后按照下式生成融合图/>：
；
其中，表示转置，空间上每一行表示图像的一个相关图与其它所有相关图的相关度；
按照下式对融合图的每一列求和，并且经过Softmax函数生成权重向量：
；
将权重向量与相关图相乘后进行求和操作，再进行L2归一化操作，生成图像的共同显著性注意力图/>，用公式表示为：
；
式中，（）表示L2归一化操作；
将注意力图重构为/>大小，按照下式生成图像组的一致性特征：
；
其中，表示元素相乘，/>表示沿着批次维度和空间维度进行平均池化。
进一步地，步骤4具体为：
将图像组G的背景擦除保留共同显著性目标，将共同显著性目标输入相关性融合模块生成一致性特征；
将图像组G的共同显著性目标擦除保留背景，将背景输入相关性融合模块生成一致性特征；
用公式表示如下：
；
；
其中，表示相关性融合模块，/>表示语义特征，/>表示元素相乘，GT为真值标签，表示图像的计算结果正确值，/>表示将真值标签尺寸缩小至与图像的语义特征/>相同的空间大小；
将图像组的一致性特征和共同显著性目标的一致性特征/>作为正样本对，将图像组的一致性特征/>和背景的一致性特征/>作为负样本对；通过自对比损失让正样本对相互靠近以及负样本对相互远离，增强图像组的一致性特征；
所述自对比损失的计算过程具体如下：
计算正样本对的余弦相似性：
；
计算负样本对的余弦相似性：
；
利用下式计算自对比损失：
；
式中，是常量值。
进一步地，所述通过自对比损失让正样本对相互靠近以及负样本对相互远离具体为：
让自对比损失逐渐变小，使得正样本对相互靠近，负样本对相互远离，直到自对比损失低于门限值，停止对比学习。
本发明还提出一种融合图像显著性信息的协同显著性检测系统，包括：显著图生成单元、显著性特征生成单元、一致性特征生成单元、对比学习单元和解码单元；
所述显著图生成单元采集图像组，使用EGNet显著性检测算法测出图像组中每幅图像的显著图；
所述显著性特征生成单元将图像组经过编码器VGG16网络提取的语义特征和显著图相结合生成显著性特征；
所述一致性特征生成单元通过相关性融合模块计算图像组内图像语义特征和显著性特征之间的相关性来生成图像组的一致性特征；
所述对比学习单元在一个图像组内生成正样本和负样本进行对比学习，增强图像组的一致性特征；
所述解码单元对增强后的图像组的一致性特征进行解码生成协同显著图。
本发明的有益效果是：
本发明先提取图像的显著性信息，再探索图像显著性信息之间一致性关系，可以更好的检测出共同显著性目标，提高本方法的准确率。
附图说明
图1为本发明提出的协同显著性检测算法整体流程图；
图2为不同算法在CoCA数据集上预测的协同显著图对比；
图3为不同算法在CoSOD3k数据集上预测的协同显著图对比；
图4为不同算法在Cosal2015数据集上预测的协同显著图对比。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
在一实施例中，本发明提出一种融合图像显著性信息的协同显著性检测方法，该方法的流程图如图1所示，包括以下步骤：
步骤1、采集图像组，使用EGNet显著性检测算法测出图像组中每幅图像的显著图；
步骤2、将图像组经过编码器VGG16网络提取的语义特征和显著图相结合生成显著性特征；具体为：
利用编码器VGG16网络提取含有N张图像的图像组的语义特征；
其中，N表示图像组中的图像的张数，C表示单幅图像特征的通道数，H表示单幅图像特征的高，W表示单幅图像特征的宽；
对图像组的语义特征进行L2归一化，将每幅图像的显著图/>调整到/>大小；按照下式生成图像的显著性特征；
；
；
式中，表示过滤掉非显著性信息的第n幅图像的语义特征；H表示单幅图像特征的高，W表示单幅图像特征的宽，/>表示元素相乘，/>是沿图像高方向的索引，/>是沿图像宽方向的索引，/>表示L2范数，/>表示第n幅图像的显著性特征。
步骤3、通过相关性融合模块计算图像组内图像语义特征和显著性特征之间的相关性来生成图像组的一致性特征；具体为：
对语义特征在通道维度上进行L2归一化操作，得到归一化后的特征/>；
其中，N表示图像组中的图像的张数，C表示单幅图像特征的通道数，H表示单幅图像特征的高，W表示单幅图像特征的宽；
将显著性特征作为卷积核对归一化后的特征/>进行卷积操作得到相关图/>，用公式表示为：
；
式中，表示将显著性特征/>作为卷积核进行卷积操作；
将相关图重构为/>，再对重构后的相关图进行L2归一化操作，然后按照下式生成融合图/>：
；
其中，表示转置，空间上每一行表示图像的一个相关图与其它所有相关图的相关度；
按照下式对融合图的每一列求和，并且经过Softmax函数生成权重向量：
；
将权重向量与相关图相乘后进行求和操作，再进行L2归一化操作，生成图像的共同显著性注意力图/>，用公式表示为：
；
式中，（）表示L2归一化操作；
将注意力图重构为/>大小，按照下式生成图像组的一致性特征：
；
其中，表示元素相乘，/>表示沿着批次维度和空间维度进行平均池化。
步骤4、在图像组内生成正样本和负样本进行对比学习，增强图像组的一致性特征；具体为：
将图像组G的背景擦除保留共同显著性目标，将共同显著性目标输入相关性融合模块生成一致性特征；
将图像组G的共同显著性目标擦除保留背景，将背景输入相关性融合模块生成一致性特征；
生成共同显著性目标的一致性特征的过程，以及生成背景的一致性特征/>的过程均与步骤3中通过相关性融合模块生成图像组的一致性特征/>的过程一致。
用公式表示如下：
；
；
其中，表示相关性融合模块，/>表示语义特征，/>表示元素相乘，GT为真值标签，表示图像的计算结果正确值，/>表示将真值标签尺寸缩小至与图像的语义特征/>相同的空间大小；
将图像组的一致性特征和共同显著性目标的一致性特征/>作为正样本对，将图像组的一致性特征/>和背景的一致性特征/>作为负样本对；通过自对比损失让正样本对相互靠近以及负样本对相互远离，增强图像组的一致性特征；具体为：
让自对比损失逐渐变小，使得正样本对相互靠近，负样本对相互远离，直到自对比损失低于门限值，停止对比学习。
所述自对比损失的计算过程具体如下：
计算正样本对的余弦相似性：
；
计算负样本对的余弦相似性：
；
利用下式计算自对比损失：
；
式中，是常量值。
步骤5、对增强后的图像组的一致性特征进行解码生成协同显著图。
在另一实施例中，本发明提出一种实现实施例一中的检测方法的融合图像显著性信息的协同显著性检测系统，包括：显著图生成单元、显著性特征生成单元、一致性特征生成单元、对比学习单元和解码单元；
所述显著图生成单元采集图像组，使用EGNet显著性检测算法测出图像组中每幅图像的显著图；
所述显著性特征生成单元将图像组经过编码器VGG16网络提取的语义特征和显著图相结合生成显著性特征；
所述一致性特征生成单元通过相关性融合模块计算图像组内图像语义特征和显著性特征之间的相关性来生成图像组的一致性特征；
所述对比学习单元在一个图像组内生成正样本和负样本进行对比学习，增强图像组的一致性特征；
所述解码单元对增强后的图像组的一致性特征进行解码生成协同显著图。
实现各个单元的功能的过程与实施例一中的方法各步骤完全对应。
本发明在实施阶段，用了一块英伟达RTX2080Ti显卡作为计算平台，用Pytorch作为深度学习模型的开发框架。
（1）数据获取
从DUTS数据集的官方网站上获取带有标注的数据集，在本地按照模型代码文件的具体要求进行数据集的配置。
（2）模型训练
在训练阶段，本申请将输入的批大小设置为16，网络所有参数的学习速率设置为10e-1，训练的轮次为20轮。
（3）模型推理
输入一组图像，模型输出每张图像对应的协同显著图。使用不同数据集预测的协同显著图对比结果如图2~图4所示。
实验测试指标结果比较如表1~表3所示。
各测试指标的含义分别为：是用来衡量标签和预测图之间的结构相似性指标；是描述测试值在准确率和召回率之间平衡程度的指标；/>是基于局部像素信息差异和全局均值差异的更注重全局信息和局部信息统一的指标；/>是用来衡量标签与预测图之间的平均像素误差的指标。
表1 CoCA数据集上与多个算法对比
表2 CoSOD3k数据集上与多个算法对比
表 3 Cosal2015 数据集上与多个算法对比
表1-表3中，加粗的数据表示最优结果，带下划线的数据表示次优结果。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (5)
1.一种融合图像显著性信息的协同显著性检测方法，其特征在于，包括以下步骤：
步骤1、采集图像组，使用EGNet显著性检测算法测出图像组中每幅图像的显著图；
步骤2、将图像组经过编码器VGG16网络提取的语义特征和显著图相结合生成显著性特征；
步骤3、通过相关性融合模块计算图像组内图像的语义特征和显著性特征之间的相关性来生成图像组的一致性特征；具体为：
对语义特征在通道维度上进行L2归一化操作，得到归一化后的特征/>；
其中，N表示图像组中的图像的张数，C表示单幅图像特征的通道数，H表示单幅图像特征的高，W表示单幅图像特征的宽；
将显著性特征作为卷积核对归一化后的特征/>进行卷积操作得到相关图，用公式表示为：
；
式中，表示将显著性特征/>作为卷积核进行卷积操作；
将相关图重构为/>，再对重构后的相关图进行L2归一化操作，然后按照下式生成融合图/>：
；
其中，表示转置，空间上每一行表示图像的一个相关图与其它所有相关图的相关度；
按照下式对融合图的每一列求和，并且经过Softmax函数生成权重向量/>：
；
将权重向量与相关图相乘后进行求和操作，再进行L2归一化操作，生成图像的共同显著性注意力图/>，用公式表示为：
；
式中，（）表示L2归一化操作；
将注意力图重构为/>大小，按照下式生成图像组的一致性特征/>：
；
其中，表示元素相乘，/>表示沿着批次维度和空间维度进行平均池化；
步骤4、在图像组内生成正样本和负样本进行对比学习，增强图像组的一致性特征；
步骤5、对增强后的图像组的一致性特征进行解码生成协同显著图。
2.根据权利要求1所述的融合图像显著性信息的协同显著性检测方法，其特征在于，步骤2具体为：
利用编码器VGG16网络提取含有N张图像的图像组的语义特征；
其中，N表示图像组中的图像的张数，C表示单幅图像特征的通道数，H表示单幅图像特征的高，W表示单幅图像特征的宽；
对图像组的语义特征进行L2归一化，将每幅图像的显著图调整到/>大小；按照下式生成图像的显著性特征/>；
；
；
式中，表示过滤掉非显著性信息的第n幅图像的语义特征；H表示单幅图像特征的高，W表示单幅图像特征的宽，/>表示元素相乘，/>是沿图像高方向的索引，/>是沿图像宽方向的索引，/>表示L2范数，/>表示第n幅图像的显著性特征。
3.根据权利要求1所述的融合图像显著性信息的协同显著性检测方法，其特征在于，步骤4具体为：
将图像组G的背景擦除保留共同显著性目标，将共同显著性目标输入相关性融合模块生成一致性特征；
将图像组G的共同显著性目标擦除保留背景，将背景输入相关性融合模块生成一致性特征；
用公式表示如下：
；
；
其中，表示相关性融合模块，/>表示语义特征，/>表示元素相乘，GT为真值标签，表示图像的计算结果正确值，/>表示将真值标签尺寸缩小至与图像的语义特征/>相同的空间大小；
将图像组的一致性特征和共同显著性目标的一致性特征/>作为正样本对，将图像组的一致性特征/>和背景的一致性特征/>作为负样本对；通过自对比损失让正样本对相互靠近以及负样本对相互远离，增强图像组的一致性特征；
所述自对比损失的计算过程具体如下：
计算正样本对的余弦相似性：
；
计算负样本对的余弦相似性：
；
利用下式计算自对比损失：
；
式中，是常量值。
4.根据权利要求3所述的融合图像显著性信息的协同显著性检测方法，其特征在于，所述通过自对比损失让正样本对相互靠近以及负样本对相互远离具体为：
让自对比损失逐渐变小，使得正样本对相互靠近，负样本对相互远离，直到自对比损失低于门限值，停止对比学习。
5.一种融合图像显著性信息的协同显著性检测系统，其特征在于，包括：显著图生成单元、显著性特征生成单元、一致性特征生成单元、对比学习单元和解码单元；
所述显著图生成单元采集图像组，使用EGNet显著性检测算法测出图像组中每幅图像的显著图；
所述显著性特征生成单元将图像组经过编码器VGG16网络提取的语义特征和显著图相结合生成显著性特征；
所述一致性特征生成单元通过相关性融合模块计算图像组内图像语义特征和显著性特征之间的相关性来生成图像组的一致性特征；具体为：
对语义特征在通道维度上进行L2归一化操作，得到归一化后的特征/>；
其中，N表示图像组中的图像的张数，C表示单幅图像特征的通道数，H表示单幅图像特征的高，W表示单幅图像特征的宽；
将显著性特征作为卷积核对归一化后的特征/>进行卷积操作得到相关图，用公式表示为：
；
式中，表示将显著性特征/>作为卷积核进行卷积操作；
将相关图重构为/>，再对重构后的相关图进行L2归一化操作，然后按照下式生成融合图/>：
；
其中，表示转置，空间上每一行表示图像的一个相关图与其它所有相关图的相关度；
按照下式对融合图的每一列求和，并且经过Softmax函数生成权重向量/>：
；
将权重向量与相关图相乘后进行求和操作，再进行L2归一化操作，生成图像的共同显著性注意力图/>，用公式表示为：
；
式中，（）表示L2归一化操作；
将注意力图重构为/>大小，按照下式生成图像组的一致性特征/>：
；
其中，表示元素相乘，/>表示沿着批次维度和空间维度进行平均池化；
所述对比学习单元在一个图像组内生成正样本和负样本进行对比学习，增强图像组的一致性特征；
所述解码单元对增强后的图像组的一致性特征进行解码生成协同显著图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311254912.7A CN116994006B (zh) | 2023-09-27 | 2023-09-27 | 一种融合图像显著性信息的协同显著性检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311254912.7A CN116994006B (zh) | 2023-09-27 | 2023-09-27 | 一种融合图像显著性信息的协同显著性检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116994006A CN116994006A (zh) | 2023-11-03 |
| CN116994006B true CN116994006B (zh) | 2023-12-08 |
Family
ID=88530604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311254912.7A Active CN116994006B (zh) | 2023-09-27 | 2023-09-27 | 一种融合图像显著性信息的协同显著性检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116994006B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780450A (zh) * | 2016-12-06 | 2017-05-31 | 天津大学 | 一种基于低秩多尺度融合的图像显著性检测方法 |
| CN108388901A (zh) * | 2018-02-05 | 2018-08-10 | 西安电子科技大学 | 基于空间-语义通道的协同显著目标检测方法 |
| CN108898145A (zh) * | 2018-06-15 | 2018-11-27 | 西南交通大学 | 一种结合深度学习的图像显著目标检测方法 |
| CN108961220A (zh) * | 2018-06-14 | 2018-12-07 | 上海大学 | 一种基于多层卷积特征融合的图像协同显著性检测方法 |
| CN111027576A (zh) * | 2019-12-26 | 2020-04-17 | 郑州轻工业大学 | 基于协同显著性生成式对抗网络的协同显著性检测方法 |
| CN112651940A (zh) * | 2020-12-25 | 2021-04-13 | 郑州轻工业大学 | 基于双编码器生成式对抗网络的协同视觉显著性检测方法 |
| CN112906800A (zh) * | 2021-02-26 | 2021-06-04 | 上海大学 | 基于图像组自适应的协同显著性检测方法 |
| CN113936235A (zh) * | 2021-09-14 | 2022-01-14 | 杭州电子科技大学 | 一种基于质量评估的视频显著性目标检测方法 |
| CN114743027A (zh) * | 2022-04-11 | 2022-07-12 | 郑州轻工业大学 | 弱监督学习引导的协同显著性检测方法 |
| CN114998615A (zh) * | 2022-04-28 | 2022-09-02 | 南京信息工程大学 | 一种基于深度学习的协同显著性检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8619098B2 (en) * | 2009-09-18 | 2013-12-31 | Adobe Systems Incorporated | Methods and apparatuses for generating co-salient thumbnails for digital images |
| US11663463B2 (en) * | 2019-07-10 | 2023-05-30 | Adobe Inc. | Center-biased machine learning techniques to determine saliency in digital images |
-
2023
- 2023-09-27 CN CN202311254912.7A patent/CN116994006B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780450A (zh) * | 2016-12-06 | 2017-05-31 | 天津大学 | 一种基于低秩多尺度融合的图像显著性检测方法 |
| CN108388901A (zh) * | 2018-02-05 | 2018-08-10 | 西安电子科技大学 | 基于空间-语义通道的协同显著目标检测方法 |
| CN108961220A (zh) * | 2018-06-14 | 2018-12-07 | 上海大学 | 一种基于多层卷积特征融合的图像协同显著性检测方法 |
| CN108898145A (zh) * | 2018-06-15 | 2018-11-27 | 西南交通大学 | 一种结合深度学习的图像显著目标检测方法 |
| CN111027576A (zh) * | 2019-12-26 | 2020-04-17 | 郑州轻工业大学 | 基于协同显著性生成式对抗网络的协同显著性检测方法 |
| CN112651940A (zh) * | 2020-12-25 | 2021-04-13 | 郑州轻工业大学 | 基于双编码器生成式对抗网络的协同视觉显著性检测方法 |
| CN112906800A (zh) * | 2021-02-26 | 2021-06-04 | 上海大学 | 基于图像组自适应的协同显著性检测方法 |
| CN113936235A (zh) * | 2021-09-14 | 2022-01-14 | 杭州电子科技大学 | 一种基于质量评估的视频显著性目标检测方法 |
| CN114743027A (zh) * | 2022-04-11 | 2022-07-12 | 郑州轻工业大学 | 弱监督学习引导的协同显著性检测方法 |
| CN114998615A (zh) * | 2022-04-28 | 2022-09-02 | 南京信息工程大学 | 一种基于深度学习的协同显著性检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Co-Saliency Detection Based on Multi-Scale Feature Extraction and Feature Fusion;Kuangji Zuo 等;《2022 4th International Conference on Control and Robotics》;364-368 * |
| DeepACG: Co一Saliency Detection via Semantic-aware Contrast Gromov-Wasserstein Distance;Kaihua Zhang 等;《Computer Vision Foundation》;13703-13712 * |
| 基于图像间关联的显著性检测与协同显著性检测方法研究;任静茹;《中国博士论文全文数据库信息科技辑》(第03期);I138-48 * |
| 基于特征匹配机制的协同显著性检测算法研究;董明亮;《中国优秀硕士学位论文全文数据库信息科技辑》(第01期);I138-1325 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116994006A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jian et al. | Integrating QDWD with pattern distinctness and local contrast for underwater saliency detection | |
| Qu et al. | RGBD salient object detection via deep fusion | |
| Wei et al. | Deep group-wise fully convolutional network for co-saliency detection with graph propagation | |
| Tian et al. | Densely connected attentional pyramid residual network for human pose estimation | |
| CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
| CN113255915B (zh) | 基于结构化实例图的知识蒸馏方法、装置、设备和介质 | |
| CN109255357B (zh) | 一种rgbd图像协同显著性检测方法 | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| Huang et al. | Scribble-based boundary-aware network for weakly supervised salient object detection in remote sensing images | |
| CN111508006A (zh) | 一种基于深度学习的运动目标同步检测、识别与跟踪方法 | |
| Li et al. | A review of deep learning methods for pixel-level crack detection | |
| Ji et al. | LGCNet: A local-to-global context-aware feature augmentation network for salient object detection | |
| CN115577768A (zh) | 半监督模型训练方法和装置 | |
| Chen et al. | Structure-aware weakly supervised network for building extraction from remote sensing images | |
| Feng et al. | CACNet: Salient object detection via context aggregation and contrast embedding | |
| CN111967399A (zh) | 一种基于改进的Faster RCNN行为识别方法 | |
| Sun et al. | Two-stage deep regression enhanced depth estimation from a single RGB image | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
| Song et al. | Hierarchical edge refinement network for saliency detection | |
| Shang et al. | Instance-level context attention network for instance segmentation | |
| CN113822134A (zh) | 一种基于视频的实例跟踪方法、装置、设备及存储介质 | |
| Liu et al. | MSRMNet: Multi-scale skip residual and multi-mixed features network for salient object detection | |
| CN116994006B (zh) | 一种融合图像显著性信息的协同显著性检测方法及系统 | |
| Ni et al. | Edge guidance network for semantic segmentation of high resolution remote sensing images | |
| CN116311518A (zh) | 一种基于人体交互意图信息的层级人物交互检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |