CN107247952A - 基于深层监督的循环卷积神经网络的视觉显著性检测方法 - Google Patents
基于深层监督的循环卷积神经网络的视觉显著性检测方法 Download PDFInfo
- Publication number
- CN107247952A CN107247952A CN201610604722.7A CN201610604722A CN107247952A CN 107247952 A CN107247952 A CN 107247952A CN 201610604722 A CN201610604722 A CN 201610604722A CN 107247952 A CN107247952 A CN 107247952A
- Authority
- CN
- China
- Prior art keywords
- layer
- neutral net
- cyclic convolution
- convolution
- deep layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深层监督的循环卷积神经网络的显著性检测方法,其包括如下步骤:一、初级深层网络结构的设计;二、循环卷积神经网络的设计;三、深层监督的循环卷积神经网络的设计;四、模型的训练与测试。本发明提出了一种新的网络结构,在不增加模型参数的同时增加了网络结构的深度,并采用多层监督信息来对模型进行有效地训练。本发明提出的深层监督的循环卷积神经网络除了在显著性检测领域能取得很好的效果外,还可以用于所有的基于像素分类的图像处理和计算机视觉领域的应用中。
Description
技术领域
本发明涉及一种基于深度学习的图像处理方法,具体涉及一种基于深层监督的循环卷积神经网络的视觉显著性检测方法。
背景技术
随着深度学习的发展和兴起,基于深度学习的显著性检测技术也不断发展。显著性检测可分为自底向上的数据驱动模型和自顶向下的任务驱动模型两大类。自底向上的显著性检测是指对于给定的任意一幅图像,找出图中引人注意的目标,该目标可为任何类别的事物。而自顶向下的显著性检测方法通常从给定图片中找出给定类别的目标,并赋予不同的显著性值。目前,对自底向上的显著性检测方法的研究最多。
现在已有的自底向上的显著性检测方法可分为两类,分别为基于手工设计特征的方法和基于卷积神经网络的方法。由于基于手工设计特征的方法通常利用图像中的表面信息(比如颜色、纹理等)来进行特征提取,而提取的这些手工特征不能捕捉显著性目标的深层特性和多尺度信息,从而不能取得很好的性能。最近随着深度学习的兴起,有部分研究者开始使用卷积神经网络来进行显著性目标检测。目前已有的大部分基于卷积神经网络(CNN)的显著性目标检测方法首先将图像分割成多个区域,然后对每个区域用训练好的CNN模型来预测其显著性值。由于图像分割本身是一个复杂的问题,且每个区域都需使用模型进行预测,从而使得这些方法变得复杂且不能得到精确的像素级的显著性预测结果。
发明内容
为了克服上述问题,本发明提出一种新的基于CNN的显著性检测方法,即基于深层监督的循环卷积神经网络的显著性检测方法,其可直接使用模型对原始图像进行预测,得到精确的像素级的显著性图,从而能更有效地推动基于显著性的相关应用的发展。
本发明的目的是通过以下技术方案实现的:
本发明提供了一种基于深层监督的循环卷积神经网络的显著性检测方法,该方法研究的对象是静态图像,其中图像的内容可以是任意的,研究的目标是从图像中找出吸引人眼注意力的目标,并为其赋予不同的显著性值。本发明主要设计了一种新的网络结构,叫做深层监督的循环卷积神经网络。该网络模型以图像作为输入,以图像的真实结果作为监督信号用于网络模型的训练,并最终输出与输入图像大小一致的显著性图。该网络结构是在VGGNet-16的基础上进行改进得到,即将VGGNet-16中的卷积层替换成循环卷积层,从而在不增加网络参数的同时增加了网络结构的深度。同时还在网络结构中的多层加入监督信息,以便能更有效地训练网络模型。具体实施步骤如下:
一、初级深层网络结构的设计
以VGGNet-16为基础,将其前5个模块作为初级网络模型;
二、循环卷积神经网络的设计
在初级网络模型的基础上,在初级网络结构中的每个卷积层上引入循环链接,即将所有卷积层替换为循环卷积层;
三、深层监督的循环卷积神经网络的设计
在每个模块最后的循环卷积层后增加一个额外的模块,将五个增加的额外的模块的输出拼接成一个多通道图,然后使用一个卷积层对该多通道图进行卷积操作,得到最终的显著性图;
四、模型的训练与测试
在模型训练的过程中,首先计算每个额外增加的模块的输出与监督信号之间的误差;其次对所有额外模块计算得到的误差求和得到总误差,然后将误差回传来更新模型的参数直到满足终止条件;
在模型测试的过程中,对于给定的图像,将其作为训练好的模型的输入,通过计算后,直接输出最终的显著性图。
本发明具有如下优点:
1、本发明提出了一种新的网络结构,在不增加模型参数的同时增加了网络结构的深度,并采用多层监督信息来对模型进行有效地训练。
2、本发明提出的深层监督的循环卷积神经网络除了在显著性检测领域能取得很好的效果外,还可以用于所有的基于像素分类的图像处理和计算机视觉领域的应用中,比如图像分割。
附图说明
图1为深层监督的循环卷积神经网络结构;
图2为卷积层和循环卷积层,a-卷积层,b-循环卷积层,c-循环卷积层展开后的网络结构;
图3为本发明进行显著性检测的结果,a-原始图像,b-真实结果,c-检测结果。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明,但并不局限于此,凡是对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的保护范围中。
本发明提供了一种基于深层监督的循环卷积神经网络的显著性检测方法,具体实施步骤如下:
一、初级深层网络结构的设计
为了获得像素级显著性预测结果,本发明首先设计一个初级的网路结构,以原始图像作为输入,以与原始图像大小一致的显著性图作为输出。为了得到精确的显著性图,该网络模型应该具有深层的结构和不同步幅的多尺度结构,以至于学习到区分能力强的多尺度特征。当样本数量不够时,重新训练这样一个网络模型是很困难的,因此本发明使用在大量样本的数据库上训练好的VGGNet-16模型作为预训练模型,并用其在显著性检测的数据集上进行微调。由于VGGNet-16网络模型包含了6个模块,前5个模块由卷积层(记为conv)和池化层(记为pooling)组成,最后一个模块由池化层和全连接层组成。由于最后一个模块中的池化层使得输出的特征图的大小太小,从而不利于显著性图的预测,且全连接层增加了模型的复杂性,因此本发明将使用VGGNet-16中的前5个模块作为初级网络模型。
二、循环卷积神经网络的设计
为了使模型能够学习到更加丰富的上下文信息,在初级网络模型的基础上,本发明在初级网络结构中的每个卷积层上引入循环链接,即将所有卷积层(convolutional layer,如图2(a)所示)替换为循环卷积层(recurrent convolutional layer,记为RCL,如图2(b)所示)。本发明中的循环卷积层进行2次循环过程,即在原有卷积层的基础上,使用相同的卷积核对生成特征图再进行卷积操作得到的结果与该卷积核同最底层特征图进行卷积操作得到的结果之和作为该层的结果,重复该过程2次。将该循环卷积层展开后可得到一个深度为3的网络结构(如图2(c)所示)。由此可见,随着循环次数的增加,循环卷积层的有效感受野相比前一层也是逐渐扩大的,从而使得循环卷积层相比卷积层在不增加参数的同时能学习到包含更加丰富的上下文信息的特征,最终达到提高显著性图预测的性能。
三、深层监督的循环卷积神经网络的设计
为了学习到更具区分能力的局部和全局特征,本发明为以上网络结构中的每一个模块使用监督信息来对模型进行深层监督学习。通过在每个模块最后的循环卷积层后增加一个额外的模块,该模块由一个卷积层和一个去卷积层(deconvolutional layer,记为deconv)组成(如图1所示)。这些额外增加的卷积层只有一个卷积核且该核的大小为1*1,因此这样的一个卷积操作是将多个特征图转化为一个显著性图。而额外增加的去卷积层的目的是为了使得输出的显著性图的大小和原始图像一致。最终为了使最终的显著性图考虑到显著性目标的局部和全局信息,本发明将五个增加的额外的模块的输出进行融合,即将它们的输出拼接(记为concat)成一个多通道图,然后使用一个卷积核大小为1*1的卷积层对该多通道图进行卷积操作,得到最终的显著性图。实际上,最后的卷积操作是一个加权融合的过程。到此为止,本发明提出的整个深层监督的循环卷积神经网络结构已经全部给出,如图1所示。
四、模型的训练与测试
在模型训练的过程中,首先计算每个额外增加的模块(包括最后的融合模块)的输出与监督信号之间的误差。由于监督信号中的正负两类像素点的个数相差太大,为了平衡两个之间的差距,本发明使用叉熵损失函数来计算误差。其次,对所有额外模块计算得到的误差求和得到总误差,然后将误差回传来更新模型的参数直到满足终止条件。在模型测试的过程中,对于给定的图像,本发明可将其作为训练好的模型的输入,通过计算后,直接输出最终的显著性图。图3给出了三个本发明进行显著性检测的结果,由图3可知,本发明检测的结果与真实结果很接近,由此说明了本发明的有效性。
Claims (5)
1.一种基于深层监督的循环卷积神经网络的显著性检测方法,其特征在于所述方法步骤如下:
一、初级深层网络结构的设计
以VGGNet-16为基础,将其前5个模块作为初级网络模型;
二、循环卷积神经网络的设计
在初级网络模型的基础上,在初级网络结构中的每个卷积层上引入循环链接,即将所有卷积层替换为循环卷积层;
三、深层监督的循环卷积神经网络的设计
在每个模块最后的循环卷积层后增加一个额外的模块,将五个增加的额外的模块的输出拼接成一个多通道图,然后使用一个卷积层对该多通道图进行卷积操作,得到最终的显著性图;
四、模型的训练与测试
在模型训练的过程中,首先计算每个额外增加的模块的输出与监督信号之间的误差;其次对所有额外模块计算得到的误差求和得到总误差,然后将误差回传来更新模型的参数直到满足终止条件;
在模型测试的过程中,对于给定的图像,将其作为训练好的模型的输入,通过计算后,直接输出最终的显著性图。
2.根据权利要求1所述的基于深层监督的循环卷积神经网络的显著性检测方法,其特征在于所述步骤二中,循环卷积层进行2次循环过程,即在原有卷积层的基础上,使用相同的卷积核对生成特征图再进行卷积操作得到的结果与该卷积核同最底层特征图进行卷积操作得到的结果之和作为该层的结果,重复该过程2次。
3.根据权利要求1所述的基于深层监督的循环卷积神经网络的显著性检测方法,其特征在于所述步骤三中,额外增加的模块由一个卷积层和一个去卷积层组成。
4.根据权利要求3所述的基于深层监督的循环卷积神经网络的显著性检测方法,其特征在于所述卷积层具有大小为1*1的卷积核。
5.根据权利要求1所述的基于深层监督的循环卷积神经网络的显著性检测方法,其特征在于所述步骤三中,对多通道图进行卷积操作时使用的卷积层具有大小为1*1的卷积核。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610604722.7A CN107247952B (zh) | 2016-07-28 | 2016-07-28 | 基于深层监督的循环卷积神经网络的视觉显著性检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610604722.7A CN107247952B (zh) | 2016-07-28 | 2016-07-28 | 基于深层监督的循环卷积神经网络的视觉显著性检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107247952A true CN107247952A (zh) | 2017-10-13 |
CN107247952B CN107247952B (zh) | 2020-11-10 |
Family
ID=60016250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610604722.7A Active CN107247952B (zh) | 2016-07-28 | 2016-07-28 | 基于深层监督的循环卷积神经网络的视觉显著性检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107247952B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108230243A (zh) * | 2018-02-09 | 2018-06-29 | 福州大学 | 一种基于显著性区域检测模型背景虚化方法 |
CN109068174A (zh) * | 2018-09-12 | 2018-12-21 | 上海交通大学 | 基于循环卷积神经网络的视频帧率上变换方法及系统 |
CN109086405A (zh) * | 2018-08-01 | 2018-12-25 | 武汉大学 | 基于显著性和卷积神经网络的遥感图像检索方法及系统 |
CN110458077A (zh) * | 2019-08-05 | 2019-11-15 | 高新兴科技集团股份有限公司 | 一种车辆颜色识别方法及系统 |
CN110648334A (zh) * | 2019-09-18 | 2020-01-03 | 中国人民解放军火箭军工程大学 | 一种基于注意力机制的多特征循环卷积显著性目标检测方法 |
WO2021237555A1 (zh) * | 2020-05-28 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 图像处理的方法、装置、可移动平台以及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102222231A (zh) * | 2011-05-26 | 2011-10-19 | 厦门大学 | 一种基于背侧通路引导的视觉注意计算模型及其处理方法 |
CN102567731A (zh) * | 2011-12-06 | 2012-07-11 | 北京航空航天大学 | 一种感兴趣区域提取方法 |
US20140122400A1 (en) * | 2012-10-25 | 2014-05-01 | Brain Corporation | Apparatus and methods for activity-based plasticity in a spiking neuron network |
US20140143193A1 (en) * | 2012-11-20 | 2014-05-22 | Qualcomm Incorporated | Method and apparatus for designing emergent multi-layer spiking networks |
CN105678297A (zh) * | 2015-12-29 | 2016-06-15 | 南京大学 | 一种基于标签转移及lstm模型的人像语义分析的方法及系统 |
-
2016
- 2016-07-28 CN CN201610604722.7A patent/CN107247952B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102222231A (zh) * | 2011-05-26 | 2011-10-19 | 厦门大学 | 一种基于背侧通路引导的视觉注意计算模型及其处理方法 |
CN102567731A (zh) * | 2011-12-06 | 2012-07-11 | 北京航空航天大学 | 一种感兴趣区域提取方法 |
US20140122400A1 (en) * | 2012-10-25 | 2014-05-01 | Brain Corporation | Apparatus and methods for activity-based plasticity in a spiking neuron network |
US20140143193A1 (en) * | 2012-11-20 | 2014-05-22 | Qualcomm Incorporated | Method and apparatus for designing emergent multi-layer spiking networks |
CN105678297A (zh) * | 2015-12-29 | 2016-06-15 | 南京大学 | 一种基于标签转移及lstm模型的人像语义分析的方法及系统 |
Non-Patent Citations (5)
Title |
---|
JASON KUEN等: "Recurrent Attentional Networks for Saliency Detection", 《ARXIV COMPUTER VISION AND PATTERN RECOGNITION》 * |
LIJUN WANG等: "Deep networks for saliency detection via local estimation and global search", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
YOUBAO TANG等: "Saliency Detection Based on Graph-Structural Agglomerative Clustering", 《MM "15: PROCEEDINGS OF THE 23RD ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 * |
景慧昀: "视觉显著性检测关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
李岳云等: "深度卷积神经网络的显著性检测", 《中国图象图形学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108230243A (zh) * | 2018-02-09 | 2018-06-29 | 福州大学 | 一种基于显著性区域检测模型背景虚化方法 |
CN108230243B (zh) * | 2018-02-09 | 2021-04-27 | 福州大学 | 一种基于显著性区域检测模型背景虚化方法 |
CN109086405A (zh) * | 2018-08-01 | 2018-12-25 | 武汉大学 | 基于显著性和卷积神经网络的遥感图像检索方法及系统 |
CN109086405B (zh) * | 2018-08-01 | 2021-09-14 | 武汉大学 | 基于显著性和卷积神经网络的遥感图像检索方法及系统 |
CN109068174A (zh) * | 2018-09-12 | 2018-12-21 | 上海交通大学 | 基于循环卷积神经网络的视频帧率上变换方法及系统 |
CN109068174B (zh) * | 2018-09-12 | 2019-12-27 | 上海交通大学 | 基于循环卷积神经网络的视频帧率上变换方法及系统 |
CN110458077A (zh) * | 2019-08-05 | 2019-11-15 | 高新兴科技集团股份有限公司 | 一种车辆颜色识别方法及系统 |
CN110458077B (zh) * | 2019-08-05 | 2022-05-03 | 高新兴科技集团股份有限公司 | 一种车辆颜色识别方法及系统 |
CN110648334A (zh) * | 2019-09-18 | 2020-01-03 | 中国人民解放军火箭军工程大学 | 一种基于注意力机制的多特征循环卷积显著性目标检测方法 |
WO2021237555A1 (zh) * | 2020-05-28 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 图像处理的方法、装置、可移动平台以及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107247952B (zh) | 2020-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106157319B (zh) | 基于卷积神经网络的区域和像素级融合的显著性检测方法 | |
Liu et al. | Picanet: Learning pixel-wise contextual attention for saliency detection | |
CN107247952A (zh) | 基于深层监督的循环卷积神经网络的视觉显著性检测方法 | |
CN104281853B (zh) | 一种基于3d卷积神经网络的行为识别方法 | |
CN107424159A (zh) | 基于超像素边缘和全卷积网络的图像语义分割方法 | |
CN113609896B (zh) | 基于对偶相关注意力的对象级遥感变化检测方法及系统 | |
CN106709568A (zh) | 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法 | |
CN106504233A (zh) | 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统 | |
CN108021947A (zh) | 一种基于视觉的分层极限学习机目标识别方法 | |
CN111898617A (zh) | 基于注意力机制与并行空洞卷积网络的目标检测方法、系统 | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
CN110956158A (zh) | 一种基于教师学生学习框架的遮挡行人再标识方法 | |
CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
CN112990282B (zh) | 一种细粒度小样本图像的分类方法及装置 | |
Bhattacharya et al. | Interleaved deep artifacts-aware attention mechanism for concrete structural defect classification | |
CN106599864A (zh) | 一种基于极值理论的深度人脸识别方法 | |
Li et al. | Transformer helps identify kiwifruit diseases in complex natural environments | |
CN112488229A (zh) | 一种基于特征分离和对齐的域自适应无监督目标检测方法 | |
CN114821014A (zh) | 基于多模态与对抗学习的多任务目标检测识别方法及装置 | |
CN108154183A (zh) | 一种基于局部和深度特征集合的目标分类方法 | |
Naqvi et al. | Feature quality-based dynamic feature selection for improving salient object detection | |
CN115984537A (zh) | 图像处理方法、装置及相关设备 | |
CN112084897A (zh) | 一种gs-ssd的交通大场景车辆目标快速检测方法 | |
CN114022727B (zh) | 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法 | |
Dong et al. | Field-matching attention network for object detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |