CN112598043A - 一种基于弱监督学习的协同显著性检测方法 - Google Patents
一种基于弱监督学习的协同显著性检测方法 Download PDFInfo
- Publication number
- CN112598043A CN112598043A CN202011495029.3A CN202011495029A CN112598043A CN 112598043 A CN112598043 A CN 112598043A CN 202011495029 A CN202011495029 A CN 202011495029A CN 112598043 A CN112598043 A CN 112598043A
- Authority
- CN
- China
- Prior art keywords
- training
- image
- network
- significance
- cooperative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于弱监督学习的协同显著性检测方法。本发明包括以下步骤:步骤(1)深度神经网络的构建和预训练;步骤(2)弱监督数据集的划分;步骤(3)显著性图像样本增强;步骤(4)协同显著性图的预测。使用弱监督的方式隐式地抓取图像间的协同特征,使用样本图像增强的方式增加神经网络的鲁棒性。协同显著性检测中,如何利用好图像间的协同特征是关键的,本发明使用约50%的样本输入到神经网络中进行训练微调隐式获取图像间的协同特征。同时存在图像样本中显著性目标在像素层面所占的比例较小的情况,不利于神经网络的训练和微调,本发明使用一种图像样本增强的手段来克服这一点,来实现对一组图像中显著性目标的预测。
Description
技术领域
本发明属于计算机视觉领域,具体涉及一种基于弱监督学习的协同显著性检测方法。
背景技术
显著性检测是计算机视觉领域的一个研究热点,在相关研究方向中有着广泛的应用,如行人重识别、基于内容的视频压缩、图像质量评估以及目标检测和分割等,它已引起越来越多的关注。
协同显著性是在视觉显著性发展过程中的另一个新兴的研究分支。在近几年来逐步成为计算机视觉领域的热点问题。许多成像设备,例如数码相机和智能手机,都能够采集大量的图像或视频数据。尤其照片共享网站例如Flickr和Facebook,增加了此类数据的访问量。因此,如今人们更有可能面对大量的图像,这些图像通常尺寸巨大并且共享共同的对象或事件。与单个图像相比,一组图像包含更丰富,更有用的信息。在图像组内,可以使用频繁出现的图案或主要前景来表示图像组的主要内容。因此,需要建立有效的计算系统为机器赋予此类功能,促进协同显著性任务的发展。
协同显著性所研究的内容是多幅图像之间显著物体的协同检测。一方面,协同显著性需要借助传统的视觉显著性检测方法对单一图像进行显著区域提取;另一方面,协同显著性需要考虑多幅图像之间的协同相关性,尤其是多幅图像中显著区域之间的协同相关性。在一些复杂情况下单幅图像显著性检测受到制约或瓶颈时,通过引入其他相关图像或参考源、分析相互间关系、构建全局的关联性约束,则可以探索基于全局关联性的显著性模式(也就是协同显著性)并挖掘该图像组中的共性感兴趣物体。
近年来,鉴于深度神经网络(DNNs)的强大学习能力,研究者们已经研制出了多个深度(卷积)模型。这些模型通常情况下可以出色地完成视觉显著性检测任务,因为他们能够从大量标注数据中学习到许多有意义的特征表征和隐层模式。例如最初是用卷积神经网络(CNN) 在局部图像中为每一个像素预测出一个显著性得分,然后从全局的角度调整每一个超像素的得分。类似的,还有学者提出了一个多“语境”的深度学习框架,它在一个统一的框架中联合了全局和局部的上下文信息。还有首先从图片的全局结构中生成一个粗糙的全局显著预测,然后通过分层的递归卷积神经网络来逐步生成显著图的局部细节的方法。目前协同显著性检测是通过全监督学习或无监督学习的方式,利用深度神经网络强大的能力,取得了不错的效果。使用弱监督学习的策略较为缺少。
发明内容
针对现有技术存在的不足,本发明提供了一种基于弱监督学习的协同显著性检测方法。
本发明方法包括以下步骤:
步骤(1)深度神经网络的构建和预训练。
所述的深度神经网络即BASNet(边缘感知显著性目标检测网络)。所述的预训练是在基于BASNet的原有参数下,再使用协同显著性检测数据集进行训练实现模型微调。本发明使用的数据集为协同显著性检测领域中较常见的三个数据集CoSal2015、Coseg-Rep、PASCAL,合并后作为网络预训练的输入,然后使用BASNet的公开训练参数进行训练得到BASNet的网络内部参数A。
步骤(2)弱监督数据集的划分。
选取的测试数据集是协同显著性检测常见的三个,iCoseg、MSRC、 CoSOD3k,具体划分步骤如下:
对于一个协同显著性检测数据集D,图像有N个类别,即 D={C1,C2,...,CN},其中每个类别有数量不等的样本图片。Ci中有M个图像样本,即其中表示具有mp个像素点的图像样本,表示具有mp个像素点的二进制真值图;表示显著目标像素,表示背景像素。
每个类别随机选取floor(M/2)个图像样本作为训练集,剩余的 M-floor(M/2)个图像样本作为测试集。floor(*)表示向下取整的操作。得到:
步骤(3)显著性图像样本增强。具体方法如下:
由于存在图像样本中显著性目标在像素层面所占的比例较小,不利于神经网络的训练和微调,故对Dtrain进行增强,得到新训练集:
cFm和cYm是增强后的图像样本和对应的真值图,θ即判定是否执行样本增强操作的阈值,本实施例中推荐使用0.05。
获得显著性目标在对应真值图和图像样本中的位置索引组idx0:
步骤(4)协同显著性图的预测。
将Dctrain输入到本实施例步骤(1)构建的并预训练好的深度神经网络BASNet中,对步骤(2)中划分得到的Dtest的每一类单独预测。具体操作如下:
给定每一个协同显著类对BASNet加载步骤(1)中参数A,再将协同显著类输入,计算网络的损失函数并反向传播进行网络的训练微调,迭代指定次数后得到网络的内部参数Bi。将Dtest中的Fm和网络的内部参数Bi输入到BASNet中即可得到目标协同显著性图。
本发明有益效果如下:
本发明方法主要优势在于两个方面,使用弱监督的方式隐式地抓取图像间的协同特征,使用样本图像增强的方式增加神经网络的鲁棒性。协同显著性检测中,如何利用好图像间的协同特征是关键的,本发明使用约50%的样本输入到神经网络中进行训练微调隐式获取图像间的协同特征。同时存在图像样本中显著性目标在像素层面所占的比例较小的情况,不利于神经网络的训练和微调,本发明使用一种图像样本增强的手段来克服这一点,来实现对一组图像中显著性目标的预测。在领域常用的评价指标上,MAE(平均绝对误差)相比于未使用此改进方法的BASNet提升约14.8%,F值(F-measure)提升约4.9%,均有较明显的提升。
附图说明
图1为本发明方法的框架图。
图2为本发明所使用的神经网络模型图。
图3为本发明方法的结果图与真实图的对比。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,本发明方法具体如下
步骤(1)深度神经网络的构建和预训练。
所述的深度神经网络即BASNet(边缘感知显著性目标检测网络)。所述的预训练是在基于BASNet的原有参数下,再使用协同显著性检测数据集进行训练实现模型微调。本发明使用的数据集为协同显著性检测领域中较常见的三个数据集CoSal2015、Coseg-Rep、PASCAL,合并后作为网络预训练的输入,然后使用BASNet的公开训练参数进行训练得到BASNet的网络内部参数A。
步骤(2)弱监督数据集的划分。
选取的测试数据集是协同显著性检测常见的三个,iCoseg、MSRC、 CoSOD3k,具体划分步骤如下:
对于一个协同显著性检测数据集D,图像有N个类别,即 D={C1,C2,...,CN},其中每个类别有数量不等的样本图片。Ci中有M个图像样本,即其中表示具有mp个像素点的图像样本,表示具有mp个像素点的二进制真值图;表示显著目标像素,表示背景像素。
每个类别随机选取floor(M/2)个图像样本作为训练集,剩余的 M-floor(M/2)个图像样本作为测试集。floor(*)表示向下取整的操作。得到:
步骤(3)显著性图像样本增强。具体方法如下:
由于存在图像样本中显著性目标在像素层面所占的比例较小,不利于神经网络的训练和微调,故对Dtrain进行增强,得到新训练集:
cFm和cYm是增强后的图像样本和对应的真值图,θ即判定是否执行样本增强操作的阈值,本实施例中推荐使用0.05。
获得显著性目标在对应真值图和图像样本中的位置索引组idx0:
步骤(4)协同显著性图的预测。
将Dctrain输入到本实施例步骤(1)构建的并预训练好的深度神经网络BASNet中,对步骤(2)中划分得到的Dtest的每一类单独预测。具体操作如下:
给定每一个协同显著类对BASNet加载步骤(1)中参数A,再将协同显著类输入,计算网络的损失函数并反向传播进行网络的训练微调,迭代指定次数后得到网络的内部参数Bi。将Dtest中的Fm和网络的内部参数Bi输入到BASNet中即可得到目标协同显著性图。
图2为本发明所使用的神经网络模型图;图3为本发明方法的结果图与真实图的对比。
Claims (5)
1.一种基于弱监督学习的协同显著性检测方法,其特征在于包括以下步骤:
步骤(1)深度神经网络的构建和预训练;
步骤(2)弱监督数据集的划分;
步骤(3)显著性图像样本增强;
步骤(4)协同显著性图的预测。
2.根据权利要求书1所述的一种基于弱监督学习的协同显著性检测方法,其特征在于所述的步骤(1)具体实现如下:
所述的深度神经网络即边缘感知显著性目标检测网络BASNet;所述的预训练是在基于BASNet的原有参数下,再使用协同显著性检测数据集进行训练实现模型微调;所述的的数据集为协同显著性检测领域中较常见的三个数据集CoSal2015、Coseg-Rep、PASCAL,合并后作为网络预训练的输入,然后使用BASNet的公开训练参数进行训练得到BASNet的网络内部参数A。
3.根据权利要求书2所述的一种基于弱监督学习的协同显著性检测方法,其特征在于所述的步骤(2)具体实现如下:
选取的测试数据集是协同显著性检测常见的三个:iCoseg、MSRC、CoSOD3k,具体划分步骤如下:
对于一个协同显著性检测数据集D,图像有N个类别,即D={C1,C2,...,CN},其中每个类别有数量不等的样本图片;Ci中有M个图像样本,即其中表示具有mp个像素点的图像样本,表示具有mp个像素点的二进制真值图;表示显著目标像素,表示背景像素;
每个类别随机选取floor(M/2)个图像样本作为训练集,剩余的M-floor(M/2)个图像样本作为测试集;floor(*)表示向下取整的操作;得到:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011495029.3A CN112598043B (zh) | 2020-12-17 | 2020-12-17 | 一种基于弱监督学习的协同显著性检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011495029.3A CN112598043B (zh) | 2020-12-17 | 2020-12-17 | 一种基于弱监督学习的协同显著性检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112598043A true CN112598043A (zh) | 2021-04-02 |
CN112598043B CN112598043B (zh) | 2023-08-18 |
Family
ID=75196931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011495029.3A Active CN112598043B (zh) | 2020-12-17 | 2020-12-17 | 一种基于弱监督学习的协同显著性检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112598043B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114119688A (zh) * | 2021-12-02 | 2022-03-01 | 北京邮电大学 | 基于深度学习的冠状动脉造影前后单模医学图像配准方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130120438A1 (en) * | 2009-09-18 | 2013-05-16 | Elya Shechtman | Methods and Apparatuses for Generating Co-Salient Thumbnails for Digital Images |
CN106250856A (zh) * | 2016-08-03 | 2016-12-21 | 武汉大学 | 一种基于非监督特征学习的高分辨率图像场景分类方法 |
CN108399406A (zh) * | 2018-01-15 | 2018-08-14 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及系统 |
CN108959379A (zh) * | 2018-05-29 | 2018-12-07 | 昆明理工大学 | 一种基于视觉显著区域和手绘草图的服装图像检索方法 |
CN110163196A (zh) * | 2018-04-28 | 2019-08-23 | 中山大学 | 显著特征检测方法和装置 |
US20200027237A1 (en) * | 2016-09-29 | 2020-01-23 | King's College London | Image processing |
CN111027576A (zh) * | 2019-12-26 | 2020-04-17 | 郑州轻工业大学 | 基于协同显著性生成式对抗网络的协同显著性检测方法 |
US20200160177A1 (en) * | 2018-11-16 | 2020-05-21 | Royal Bank Of Canada | System and method for a convolutional neural network for multi-label classification with partial annotations |
CN111476219A (zh) * | 2020-06-02 | 2020-07-31 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
CN111680702A (zh) * | 2020-05-28 | 2020-09-18 | 杭州电子科技大学 | 一种使用检测框实现弱监督图像显著性检测的方法 |
-
2020
- 2020-12-17 CN CN202011495029.3A patent/CN112598043B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130120438A1 (en) * | 2009-09-18 | 2013-05-16 | Elya Shechtman | Methods and Apparatuses for Generating Co-Salient Thumbnails for Digital Images |
CN106250856A (zh) * | 2016-08-03 | 2016-12-21 | 武汉大学 | 一种基于非监督特征学习的高分辨率图像场景分类方法 |
US20200027237A1 (en) * | 2016-09-29 | 2020-01-23 | King's College London | Image processing |
CN108399406A (zh) * | 2018-01-15 | 2018-08-14 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及系统 |
CN110163196A (zh) * | 2018-04-28 | 2019-08-23 | 中山大学 | 显著特征检测方法和装置 |
CN108959379A (zh) * | 2018-05-29 | 2018-12-07 | 昆明理工大学 | 一种基于视觉显著区域和手绘草图的服装图像检索方法 |
US20200160177A1 (en) * | 2018-11-16 | 2020-05-21 | Royal Bank Of Canada | System and method for a convolutional neural network for multi-label classification with partial annotations |
CN111027576A (zh) * | 2019-12-26 | 2020-04-17 | 郑州轻工业大学 | 基于协同显著性生成式对抗网络的协同显著性检测方法 |
CN111680702A (zh) * | 2020-05-28 | 2020-09-18 | 杭州电子科技大学 | 一种使用检测框实现弱监督图像显著性检测的方法 |
CN111476219A (zh) * | 2020-06-02 | 2020-07-31 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
Non-Patent Citations (4)
Title |
---|
SHAOYUE SONG 等: "An easy-to-hard learning strategy for within-image co-saliency detection", 《NEUROCOMPUTING》, pages 166 - 176 * |
XUEBIN QIN 等: "BASNet: Boundary-Aware Salient Object Detection", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 7471 - 7481 * |
温洪发 等: "视觉显著性检测综述", 《杭州电子科技大学学报(自然科学版)》, vol. 40, no. 2, pages 1 - 11 * |
王冲: "基于深度学习的协同显著性检测方法研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 8, pages 138 - 58 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114119688A (zh) * | 2021-12-02 | 2022-03-01 | 北京邮电大学 | 基于深度学习的冠状动脉造影前后单模医学图像配准方法 |
CN114119688B (zh) * | 2021-12-02 | 2024-07-26 | 北京邮电大学 | 基于深度学习的冠状动脉造影前后单模医学图像配准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112598043B (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
CN109583340B (zh) | 一种基于深度学习的视频目标检测方法 | |
CN108345892B (zh) | 一种立体图像显著性的检测方法、装置、设备及存储介质 | |
CN111275034B (zh) | 从图像中提取文本区域的方法、装置、设备和存储介质 | |
WO2022105608A1 (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
CN110176024B (zh) | 在视频中对目标进行检测的方法、装置、设备和存储介质 | |
WO2023174098A1 (zh) | 一种实时手势检测方法及装置 | |
Guo et al. | Rethinking gradient operator for exposing AI-enabled face forgeries | |
CN110020658B (zh) | 一种基于多任务深度学习的显著目标检测方法 | |
CN109977832B (zh) | 一种图像处理方法、装置及存储介质 | |
CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
Chakraborty | PRNU-based image manipulation localization with discriminative random fields | |
CN114663371A (zh) | 基于模态独有和共有特征提取的图像显著目标检测方法 | |
Xiang et al. | Crowd density estimation method using deep learning for passenger flow detection system in exhibition center | |
CN115033721A (zh) | 基于大数据的图像检索方法 | |
Chen et al. | Intra-and inter-reasoning graph convolutional network for saliency prediction on 360° images | |
Vijayalakshmi K et al. | Copy-paste forgery detection using deep learning with error level analysis | |
Shen et al. | Graph-Represented Distribution Similarity Index for Full-Reference Image Quality Assessment | |
CN118172308A (zh) | 融合注意力机制与可变形卷积的轮毂表面缺陷检测方法、装置、电子设备及存储介质 | |
CN112598043A (zh) | 一种基于弱监督学习的协同显著性检测方法 | |
CN109583584B (zh) | 可使具有全连接层的cnn接受不定形状输入的方法及系统 | |
CN116823638A (zh) | 一种基于改进gan的图像去雾方法 | |
Wu et al. | Review of imaging device identification based on machine learning | |
CN115222606A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |