CN111046869B - 一种基于深度学习的显著区域提取方法及系统 - Google Patents
一种基于深度学习的显著区域提取方法及系统 Download PDFInfo
- Publication number
- CN111046869B CN111046869B CN201911178709.XA CN201911178709A CN111046869B CN 111046869 B CN111046869 B CN 111046869B CN 201911178709 A CN201911178709 A CN 201911178709A CN 111046869 B CN111046869 B CN 111046869B
- Authority
- CN
- China
- Prior art keywords
- super
- region
- pixel
- training
- salient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 85
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000012216 screening Methods 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习的显著区域提取方法及系统，其中方法包括训练步骤和测试步骤，所述训练步骤包括以下子步骤：进行超像素分割；进行超像素集合的筛选；生成训练区域块；提取所述训练区域块的特征；标注所述训练区域块；训练卷积神经网络。本发明提出的一种基于深度学习的显著区域提取方法及系统，对输入深度网络的训练特征增加了筛选环节，筛选后的区域输入到深度网络训练得到的模型具有更强的判别能力。
Description
技术领域
本发明涉及计算机视觉技术领域，具体地说是一种基于深度学习的显著区域提取方法及系统。
背景技术
随着视觉显著性研究的深入，越来越多的研究已经将深度学习网络体系结构应用到显著区域提取中。有的文献通过无监督学习方法得到多个中层的滤波器集合进行局部的显著区域提取，并且和卷积网络得到的中层显著区域提取结果进行融合。有的文献采用卷积神经网络得到图像的多尺度特征，包括局部区域块、它的邻域区域块和整幅图像，进行显著区域的提取。有的文献训练了两个深度卷积网络：一个用于训练得到局部显著图，另一个用于训练得到全局显著图，然后将两种显著图进行融合。有的文献采用全局上下文信息和局部区域信息相融合的方法实现显著区域提取。深度学习除了具有层次结构之外，还能自动学习特征，学习到的特征明显优于手工提取的特征，正因为如此，基于深度学习的显著区域提取工作已经取得了很大的进展。目前基于深度学习的显著区域提取方法为了取得较好的提取效果往往会设计多个深度学习的网络结构，或者设计不同的对比度计算方法对输入深度网络进行特征训练，但是对输入深度网络的训练特征缺少进行筛选的处理，因此会导致学习到的显著特征的判别性不强。
申请号为CN103810503A的发明申请公开一种基于深度学习的自然图像中显著区域的检测方法，在训练阶段，首先在自然图像数据库上选取一定数量的图片提取基本特征，构成训练样本，然后利用深度学习模型对已提取特征进行再学习，从而得到更抽象更有区分能力的增强型高级特征，最后用学习到的特征训练分类器。在测试阶段，对于任意一幅测试图像，首先提取基本特征，然后利用训练好的深度模型，提取增强型高级特征，最后利用分类器进行显著性与否的预测，并把每个像素点的预测值作为这点的显著值。该方法的缺点是缺少对输入网络中的图像区域进行筛选的过程，如果将对比度更强的特征输入到网络中则训练得到的模型判别性更强。
发明内容
为了解决上述的技术问题，本发明提出的一种基于深度学习的显著区域提取方法及系统，对输入深度网络的训练特征增加了筛选环节，以保证提取的显著区域特征具有更强的判别能力。
本发明的第一目的是提供一种基于深度学习的显著区域提取方法，包括训练步骤和测试步骤，还包括以下步骤：
步骤01：进行超像素分割；
步骤02；进行超像素集合的筛选；
步骤03：生成训练区域块；
步骤04：提取所述训练区域块的特征；
步骤05：标注所述训练区域块；
步骤06：训练卷积神经网络。
优选的是，所述步骤01为对训练集的每幅图像采用超像素分割算法进行分割预处理，得到训练集图像的所述超像素集合 其中，M为集合R1中超像素的个数，i表示处理的是第i块超像素区域。
在上述任一方案中优选的是，所述步骤02包括对所述训练集图像的超像素集合R1中的每一个超像素区域和其邻域进行对比度判断，筛选出满足对比度判别阈值要求的超像素区域，获得满足要求的超像素集合其中，N为集合R2中超像素的个数，1≤a≤N。
在上述任一方案中优选的是，超像素区域对比度判别函数如下：
其中，ri 1表示集合R1中的当前超像素区域，rj 1表示ri 1的邻域，j表示第j块超像素区域；HRGB(ri 1)和HRGB(rj 1)表示区域ri 1和rj 1的RGB颜色直方图；HHSV(ri 1)和HHSV(rj 1)表示区域ri 1和rj 1的HSV颜色直方图；HLab(ri 1)和HLab(rj 1)表示区域ri 1和rj 1的Lab颜色直方图；d()表示颜色距离；是归一化参数，ri 1∈R1，1≤i≤M。
在上述任一方案中优选的是，所述步骤03包括对筛选后的所述超像素集合R2中的每一个超像素区域提取三种区域：当前超像素区域的外接矩形框区域sa、外接矩形框区域sa的邻近区域ssa和图像中去除外接矩形框区域sa的剩余区域sssa，1≤a≤N。
在上述任一方案中优选的是，得到训练区域块集合R3＝{s1，ss1，SsS1，s2，ss2，sss2，...，sa，ssa，sssa，...，sN，ssN，sssN}。
在上述任一方案中优选的是，所述步骤04包括把所述训练区域块集合R3输入到深度网络，提取CNN特征。
在上述任一方案中优选的是，将所述当前超像素区域的外接矩形框区域sa的特征fa1、所述邻近区域ssa的特征fa2和所述图像中去除外接矩形框区域sa的剩余区域sssa的特征fa2连接后得到总特征为Fa。
在上述任一方案中优选的是，所述步骤05包括判断当前超像素区域中至少x％的像素在基准二值标注中为显著时，所述区域块被标注为显著，否则标注为不显著。
在上述任一方案中优选的是，得到训练区域块的集合R3及其相应的显著标签集合L＝{l1，l2，…，lb，…，lN}。
在上述任一方案中优选的是，所述步骤06为通过随机下降的方法对所述卷积神经网络进行训练。
在上述任一方案中优选的是，采用权重作为soffmax回归模型损失函数的正则项，目标函数的公式为：
其中，θ是可学习的参数，包括卷积神经网络各层的权重和偏置；l{·}是符号函数，当m＝1时，P(lb＝m|θ)表示显著标签lb对应的当前超像素区域预测为显著区域的概率；λ是权重衰减参数；Wk代表第k层的权重。
在上述任一方案中优选的是，所述测试步骤包括以下子步骤：
步骤11：进行超像素分割；
步骤12：生成测试区域块集合；
步骤13：进行显著性预测。
在上述任一方案中优选的是，所述步骤11为对测试图像采用超像素分割算法进行分割预处理，其中，X为集合R4中超像素的个数。
在上述任一方案中优选的是，所述步骤12为对所述测试图像的超像素集合R4中的每个超像素区域，提取三种区域：当前超像素区域的外接矩形框区域pc、外接矩形框区域pc的邻近区域ppc和图像中去除外接矩形框区域pc的剩余区域pppc，其中，1≤c≤X。
在上述任一方案中优选的是，得到测试区域块集合R′＝{p1，pp1，ppp1，…，pc，ppc，pppc，…，pX，ppX，pppX}。
在上述任一方案中优选的是，所述步骤13为将所述测试区域块集合R′输入卷积神经网络，提取特征，然后通过训练好的模型预测各个区域为显著区域的概率。
本发明的第二目的是提供一种基于深度学习的显著区域提取系统，包括训练模块和测试模块，所述训练模块的训练方法包括以下子步骤：：
步骤01：进行超像素分割；
步骤02；进行超像素集合的筛选；
步骤03：生成训练区域块；
步骤04：提取所述训练区域块的特征；
步骤05：标注所述训练区域块；
步骤06：训练卷积神经网络；
所述系统按照如第一目的所述的方法提取测试图像的显著区域。
本发明提出了一种基于深度学习的显著区域提取方法及系统，相对于现有的方法，本方法在模型训练之前加入的图像区域的筛选过程，保证训练得到的模型有更强的判别能力。
附图说明
图1为按照本发明的基于深度学习的显著区域提取方法的一优选实施例的流程图。
图1A为按照本发明的基于深度学习的显著区域提取方法的如图1所示实施例的测试方法流程图。
图2为按照本发明的基于深度学习的显著区域提取系统的一优选实施例的模块图。
图3为按照本发明的基于深度学习的显著区域提取方法的图像及其对应的超像素分割的一实施例的结果图。
图4为按照本发明的基于深度学习的显著区域提取方法的深度网络的一实施例的结构图。
图5为按照本发明的基于深度学习的显著区域提取方法的三种区域提取结果的一实施例的示例图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1、2所示，执行步骤100，使用训练模块200对训练集中的图像进行训练。执行步骤101，进行超像素分割。对训练集的每幅图像采用超像素分割算法进行分割预处理，得到训练集图像的所述超像素集合其中，M为集合R1中超像素的个数，i表示处理的是第i块超像素区域。
执行步骤102，进行超像素集合的筛选。对所述训练集图像的超像素集合R1中的每一个超像素区域和其邻域进行对比度判断，筛选出满足对比度判别阈值要求的超像素区域，获得满足要求的超像素集合其中，N为集合R2中超像素的个数。超像素区域对比度判别函数如下：
其中，ri 1表示集合R1中的当前超像素区域，rj 1表示ri 1的邻域，j表示第j块超像素区域；HRGB(ri 1)和HRGB(rj 1)表示区域ri 1和rj 1的RGB颜色直方图；HHSV(ri 1)和HHSV(rj 1)表示区域ri 1和rj 1的HSV颜色直方图；HLab(ri 1)和HLab(rj 1)表示区域ri 1和rj 1的Lab颜色直方图；d()表示颜色距离；是归一化参数，ri 1∈R1，1≤i≤M
执行步骤103，生成训练区域块。对筛选后的所述超像素集合R2中的每一个超像素区域提取三种区域：当前超像素区域的外接矩形框区域sa、外接矩形框区域sa的邻近区域ssa和图像中去除外接矩形框区域sa的剩余区域sssa，1≤a≤N，得到训练区域块集合R3＝{s1，ss1，sss1，s2，ss2，sss2，…，sa，ssa，sssa，…，sN，ssN，sssN}。
执行步骤104，提取所述训练区域块的特征。把所述训练区域块集合R3输入到深度网络，提取CNN特征，将所述当前超像素区域的外接矩形框区域sa的特征fa1、所述邻近区域ssa的特征fa2和所述图像中去除外接矩形框区域sa的剩余区域sssa的特征fa3连接后得到总特征为Fa。
执行步骤105，标注所述训练区域块。判断当前超像素区域中至少x％的像素在基准二值标注中为显著时，所述区域块被标注为显著，否则标注为不显著，得到训练区域块的集合R3及其相应的显著标签集合L＝{l1，l2，…，lb，…，lN}。
执行步骤106，训练卷积神经网络。通过随机下降的方法对所述卷积神经网络进行训练，采用权重作为softmax回归模型损失函数的正则项，目标函数的公式为：
其中，θ是可学习的参数，包括卷积神经网络各层的权重和偏置；l{·}是符号函数，当m＝1时，P(lb＝m|θ)表示显著标签lb对应的当前超像素区域预测为显著区域的概率；λ是权重衰减参数；Wk代表第k层的权重。
执行步骤110，使用测试模块200对测试图像进行显著区域提取。如图1A所述，执行步骤111，进行超像素分割。对测试图像采用超像素分割算法进行分割预处理，其中，X为集合R4中超像素的个数。
执行步骤112，生成测试区域块集合。对所述测试图像的超像素集合R4中的每个超像素区域，提取三种区域：当前超像素区域的外接矩形框区域pc、外接矩形框区域pc的邻近区域ppc和图像中去除外接矩形框区域pc的剩余区域pppc，其中，1≤c≤X，得到测试区域块集合R′＝{p1，pp1，ppp1，…，pc，ppc，pppc，…，pX，ppX，pppX}。
执行步骤113，进行显著性预测。将所述测试区域块集合R′输入卷积神经网络，提取特征，然后通过训练好的模型预测各个区域为显著区域的概率。
实施例二
目前基于深度学习的显著区域提取方法为了取得较好的提取效果往往会设计多个深度学习的网络结构，或者设计不同的对比度计算方法对输入深度网络进行特征训练，但是对输入深度网络的训练特征缺少进行筛选的处理，因此会导致学习到的显著特征的判别性不强。针对此问题，本发明对输入深度网络的训练特征增加了筛选环节，以保证提取的显著区域特征具有更强的判别能力。
本发明的方法为1)对训练集中的每幅图像进行超像素分割(2)对步骤1得到的超像素集合中的每一个超像素区域和其邻域进行对比度判断，筛选出满足对比度判别阈值要求的超像素区域；(3)为了有效计算显著性，本发明考虑了两种对比度：全局对比度和局部对比度，因此要对步骤2得到的超像素区域集合中的每一个超像素区域提取三种区域，并进行特征提取；(4)将步骤3得到的区域进行标注，然后输入到卷积神经网络进行训练；(5)将测试图像进行1-3步的处理，输入到网络中进行测试，得到显著图。
其具体实施步骤如下：
训练过程
步骤1：超像素分割
对训练集的每幅图像采用超像素分割算法进行分割预处理，得到超像素集合。
步骤2：超像素集合的筛选
对步骤1得到的超像素集合中的每一个超像素区域和其邻域进行对比度判断，筛选出满足对比度判别阈值要求的超像素区域，获得满足要求的超像素集合。
超像素区域对比度判别函数如下：
其中，ri 1表示集合R1中的当前超像素区域，rj 1表示ri 1的邻域，j表示第j块超像素区域；HRGB(ri 1)和HRGB(rj 1)表示区域ri 1和rj 1的RGB颜色直方图；HHSV(ri 1)和HHSV(rj 1)表示区域ri 1和rj 1的HSV颜色直方图；HLab(ri 1)和HLab(rj 1)表示区域ri 1和rj 1的Lab颜色直方图；d()表示颜色距离；是归一化参数，ri 1∈R1，1≤i≤M。
步骤3：训练区域块的生成
本发明在计算显著性的时候采用两种对比度：局部对比度和全局对比度。为了计算这两种对比度，针对步骤2中得到的超像素集合中的每个超像素区域，都需要提取三种区域：
(1)当前区域：当前超像素区域的外接矩形框区域sa；
(2)外接矩形框区域sa的邻近区域ssa；
(3)图像中去除外接矩形框区域sa的剩余区域sssa。
经过上的操作，得到训练区域块集合R3＝{s1，ss1，ssS1，s2，ss2，sss2，...，sa，ssa，sssa，...，sN，ssN，sssN}，其中M表示训练区域块的个数。
步骤4：训练区域块的特征提取
将步骤3中得到的训练区域块集合R3＝{s1，ss1，sss1，s2，ss2，sss2，...，sa，ssa，sssa，...，sN，SsN，SSsN}输入到深度网路，提取CNN特征。若前超像素区域的外接矩形框区域sa的特征fa1、邻近区域ssa的特征fa2和图像中去除外接矩形框区域sa的剩余区域sssa的特征fa3连接后得到总特征为Fa。
步骤5：训练区域块的标注
至少70％的像素在基准二值标注中为显著，则这个区域块被标注为显著，否则标注为不显著。利用这种标注策略，获得训练区域块的集合R＝{r1，r2，…，ra，…，rN}及其相应的显著标签集合L＝{l1，l2，…，lb，…，lN}。
步骤6：网络的训练
采用权重作为softmax回归模型损失函数的正则项，目标函数的定义如下：
其中，θ是可学习的参数，包括卷积神经网路各层的权重和偏置；l{·}是符号函数，当m＝1时，P(lb＝m|θ)表示显著标签lb对应的前超像素区域的外接矩形框区域sa的特征fa1、所述邻近区域ssa的特征fa2和所述图像中去除外接矩形框区域sa的剩余区域sssa的特征fa3连接后得到总特征为Fa预测为显著区域的概率；λ是权重衰减参数；Wk代表第k层的权重。卷积神经网络通过随机下降的方法进行训练。
测试过程
步骤1：超像素分割
对测试图像采用超像素分割算法进行分割预处理，得到测试图像的超像素集合X为集合R4中超像素的个数。
步骤2：测试区域块的生成
针对步骤1中得到的超像素集合中的每个超像素区域，都需要提取三种区域：
(1)当前区域：当前超像素区域的外接矩形框区域pc；
(2)外接矩形框区域pc的邻近区域ppc；
(3)图像中去除外接矩形框区域pc的剩余区域pppc。
经过上的操作，得到测试区域块集合R′＝{p1，pp1，ppp1，...，pc，ppc，pppc，...，pX，ppX，pppX}，其中N表示测试区域块的个数。
步骤3：显著性预测
将步骤2中得到的测试区域块集合R′＝{r′1，r′2，…，r′i，...，r′N}输入卷积神经网络，提取特征，然后通过训练好的模型预测各个区域为显著区域的概率。
实施例三
采用SLIC超像素方法对图像进行预处理，如图3所示的是图像及其对应的超像素分割结果示例。
实施例四
负责CNN特征提取的深度网络采用8层卷积神经网络，其中5个卷积层、2个全连接层和1个输出层。网络结构如图4所示。
实施例五
超像素分割得到的区域块是不规则的，所以需要求超像素的外接矩形将其变化为矩形区域。深度网络提取图像中三种区域的示例图，如图5所示，子图(a)中的红色区域代表当前区域；子图(b)中的蓝色区域代表红色区域的相邻区域；子图(c)中的蓝色区域代表图像去掉红色区域后的剩余区域。
实施例六
本实施例采用了Cafffe框架用于深度卷积神经网络的训练和测试。CNN网络包含有8层，5个卷积层、2个全连接层和1个输出层。网络的输入为227*227大小的RGB图像块。卷积神经网络通过随机下降的方法进行训练，每次迭代参与的样本数量为256；冲量值为0.9；正则化项的权重为0.0005；学习率初始值为0.01，当损失稳定的时候学习率以0.1的速度下降；对每层的输出采用比率为0.5的drop-out操作来防止过拟合；训练迭代的次数为80次。
实施例七
如表1所示，本实施例的实验数据集为TBD数据集。本发明方法对比了5种流行方法，包括GC、MC、DSR、SMD、SBF。表1显示DBS方法整体性能最好。
采用当前流行的性能评价指标：
(1)F-measure值；
(2)AUC值(ROC曲线下面的面积)
(3)平均绝对误差(MAE)。
本发明的提取方法简称为DBS。
表1DBS与5种流行方法的比较
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
Claims (13)
1.一种基于深度学习的显著区域提取方法，包括训练步骤和测试步骤，其特征在于，所述训练步骤包括以下子步骤：
步骤01：进行超像素分割；对训练集的每幅图像采用超像素分割算法进行分割预处理，得到训练集图像的超像素集合 其中，M为集合R1中超像素的个数，i表示处理的是第i块超像素区域；
步骤02：进行超像素集合的筛选；对所述训练集图像的超像素集合R1中的每一个超像素区域和其邻域进行对比度判断，筛选出满足对比度判别阈值要求的超像素区域，获得满足要求的超像素集合 其中，N为集合R2中超像素的个数；超像素区域对比度判别函数如下：
其中，表示集合R1中的当前超像素区域，/>表示/>的邻域，j表示第j块超像素区域；和/>表示区域/>和/>的RGB颜色直方图；/>和/>表示区域/>和/>的HSV颜色直方图；HLab(ri 1)和HLab(rj 1)表示区域ri 1和rj 1的Lab颜色直方图；d()表示颜色距离；/>是归一化参数，/>
步骤03：生成训练区域块；对筛选后的所述超像素集合R2中的每一个超像素区域提取三种区域：当前超像素区域的外接矩形框区域sa、外接矩形框区域sa的邻近区域ssa和图像中去除外接矩形框区域sa的剩余区域sssa,1≤a≤N；得到训练区域块集合R3＝{s1,ss1,sss1,s2,ss2,sss2,…,sa,ssa,sssa,…,sN,ssN,ssN}；
步骤04：提取所述训练区域块的特征；
步骤05：标注所述训练区域块；
步骤06：训练卷积神经网络。
2.如权利要求1所述的基于深度学习的显著区域提取方法，其特征在于，所述步骤04包括把所述训练区域块集合R3输入到深度网络，提取CNN特征。
3.如权利要求2所述的基于深度学习的显著区域提取方法，其特征在于，将所述当前超像素区域的外接矩形框区域sa的特征fa1、所述邻近区域ssa的特征fa2和所述图像中去除外接矩形框区域sa的剩余区域sssa的特征fa3连接后得到总特征为Fa。
4.如权利要求3所述的基于深度学习的显著区域提取方法，其特征在于，所述步骤05包括判断当前超像素区域中至少x％的像素在基准二值标注中为显著时，所述区域块被标注为显著，否则标注为不显著。
5.如权利要求4所述的基于深度学习的显著区域提取方法，其特征在于，得到训练区域块的集合R3及其相应的显著标签集合L＝{l1，l2，…，lb，…，lN}。
6.如权利要求5所述的基于深度学习的显著区域提取方法，其特征在于，所述步骤06为通过随机下降的方法对所述卷积神经网络进行训练。
7.如权利要求6所述的基于深度学习的显著区域提取方法，其特征在于，采用权重作为softmax回归模型损失函数的正则项，目标函数的公式为：
其中，θ是可学习的参数，包括卷积神经网络各层的权重和偏置；l{·}是符号函数，当m＝1时，P(lb＝m|θ)表示显著标签lb对应的当前超像素区域预测为显著区域的概率；λ是权重衰减参数；Wk代表第k层的权重。
8.如权利要求7所述的基于深度学习的显著区域提取方法，其特征在于，所述测试步骤包括以下子步骤：
步骤11：进行超像素分割；
步骤12：生成测试区域块集合；
步骤13：进行显著性预测。
9.如权利要求8所述的基于深度学习的显著区域提取方法，其特征在于，所述步骤11为对测试图像采用超像素分割算法进行分割预处理，其中，X为集合R4中超像素的个数。
10.如权利要求9所述的基于深度学习的显著区域提取方法，其特征在于，所述步骤12为对所述测试图像R4的超像素集合中的每个超像素区域，提取三种区域：当前超像素区域的外接矩形框区域pc、外接矩形框区域pc的邻近区域ppc和图像中去除外接矩形框区域pc的剩余区域pppc，其中，1≤c≤X。
11.如权利要求10所述的基于深度学习的显著区域提取方法，其特征在于，得到测试区域块集合R′＝{p1,pp1,ppp1,…,pc,ppc,pppc,…,pX,ppX,pppX}。
12.如权利要求11所述的基于深度学习的显著区域提取方法，其特征在于，所述步骤13为将所述测试区域块集合R′输入卷积神经网络，提取特征，然后通过训练好的模型预测各个区域为显著区域的概率。
13.一种基于深度学习的显著区域提取系统，包括训练模块和测试模块，其特征在于，所述训练模块的训练方法包括以下子步骤：
步骤01：进行超像素分割；对训练集的每幅图像采用超像素分割算法进行分割预处理，得到训练集图像的超像素集合 其中，M为集合R1中超像素的个数，i表示处理的是第i块超像素区域；
步骤02：进行超像素集合的筛选；对所述训练集图像的超像素集合R1中的每一个超像素区域和其邻域进行对比度判断，筛选出满足对比度判别阈值要求的超像素区域，获得满足要求的超像素集合 其中，N为集合R2中超像素的个数；超像素区域对比度判别函数如下：
其中，表示集合R1中的当前超像素区域，/>表示/>的邻域，j表示第j块超像素区域；和/>表示区域/>和/>的RGB颜色直方图；/>和/>表示区域/>和/>的HSV颜色直方图；HLab(ri 1)和HLab(rj 1)表示区域ri 1和rj 1的Lab颜色直方图；d()表示颜色距离；/>是归一化参数，/>
步骤03：生成训练区域块；对筛选后的所述超像素集合R2中的每一个超像素区域提取三种区域：当前超像素区域的外接矩形框区域sa、外接矩形框区域sa的邻近区域ssa和图像中去除外接矩形框区域sa的剩余区域sssa,1≤a≤N；得到训练区域块集合R3＝{s1,ss1,sss1,s2,ss2,sss2,…,sa,ssa,sssa,…,sN,ssN,sssN}；
步骤04：提取所述训练区域块的特征；
步骤05：标注所述训练区域块；
步骤06：训练卷积神经网络；
所述系统按照如权利要求1所述的方法提取测试图像的显著区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911178709.XA CN111046869B (zh) | 2019-11-27 | 2019-11-27 | 一种基于深度学习的显著区域提取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911178709.XA CN111046869B (zh) | 2019-11-27 | 2019-11-27 | 一种基于深度学习的显著区域提取方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111046869A CN111046869A (zh) | 2020-04-21 |
| CN111046869B true CN111046869B (zh) | 2023-09-29 |
Family
ID=70233702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911178709.XA Active CN111046869B (zh) | 2019-11-27 | 2019-11-27 | 一种基于深度学习的显著区域提取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046869B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106790898A (zh) * | 2016-12-08 | 2017-05-31 | 华中科技大学 | 一种基于显著性分析的手机屏幕坏点自动检测方法和系统 |
| CN107016409A (zh) * | 2017-03-20 | 2017-08-04 | 华中科技大学 | 一种基于图像显著区域的图像分类方法和系统 |
| CN107609552A (zh) * | 2017-08-23 | 2018-01-19 | 西安电子科技大学 | 基于马尔可夫吸收模型的显著性区域检测方法 |
| CA3032487A1 (en) * | 2016-08-03 | 2018-02-08 | Jiangsu University | Saliency-based method for extracting road target from night vision infrared image |
| CN109285139A (zh) * | 2018-07-23 | 2019-01-29 | 同济大学 | 一种基于深度学习的x射线成像焊缝检测方法 |
| CN110276416A (zh) * | 2019-07-02 | 2019-09-24 | 广东省智能机器人研究院 | 一种滚动轴承故障预测方法 |
-
2019
- 2019-11-27 CN CN201911178709.XA patent/CN111046869B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3032487A1 (en) * | 2016-08-03 | 2018-02-08 | Jiangsu University | Saliency-based method for extracting road target from night vision infrared image |
| CN106790898A (zh) * | 2016-12-08 | 2017-05-31 | 华中科技大学 | 一种基于显著性分析的手机屏幕坏点自动检测方法和系统 |
| CN107016409A (zh) * | 2017-03-20 | 2017-08-04 | 华中科技大学 | 一种基于图像显著区域的图像分类方法和系统 |
| CN107609552A (zh) * | 2017-08-23 | 2018-01-19 | 西安电子科技大学 | 基于马尔可夫吸收模型的显著性区域检测方法 |
| CN109285139A (zh) * | 2018-07-23 | 2019-01-29 | 同济大学 | 一种基于深度学习的x射线成像焊缝检测方法 |
| CN110276416A (zh) * | 2019-07-02 | 2019-09-24 | 广东省智能机器人研究院 | 一种滚动轴承故障预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| Karthik Desingh et al..Depth really Matters：Improving Visual Salient Region Detection with Depth.《British Machine Vision Conference 2013》.2013,第1-11页. * |
| 梁晔.面向社群图像的显著区域检测方法.《智能系统学报》.2018,第13卷(第2期),第174-181页. * |
| 项导.视觉显著性物体检测方法及应用研究.《中国优秀博士学位论文全文数据库信息科技辑》.2017,第2017年卷(第02期),第I138-133页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111046869A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
| CN110909820B (zh) | 基于自监督学习的图像分类方法及系统 | |
| CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
| Ladický et al. | What, where and how many? combining object detectors and crfs | |
| CN110717526A (zh) | 一种基于图卷积网络的无监督迁移学习方法 | |
| CN109063723A (zh) | 基于迭代挖掘物体共同特征的弱监督图像语义分割方法 | |
| CN113673338B (zh) | 自然场景文本图像字符像素弱监督自动标注方法、系统及介质 | |
| CN109410184B (zh) | 基于稠密对抗网络半监督学习的直播色情图像检测方法 | |
| CN111832573B (zh) | 一种基于类激活映射和视觉显著性的图像情感分类方法 | |
| CN108596240B (zh) | 一种基于判别特征网络的图像语义分割方法 | |
| CN105279519A (zh) | 基于协同训练半监督学习的遥感影像水体提取方法及系统 | |
| CN112990282B (zh) | 一种细粒度小样本图像的分类方法及装置 | |
| CN110991439A (zh) | 一种基于像素级多特征联合分类的手写体字符的提取方法 | |
| CN113111716A (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
| CN110956167A (zh) | 一种基于定位字符的分类判别强化分离的方法 | |
| CN115240024A (zh) | 一种联合自监督学习和半监督学习的地外图片分割方法和系统 | |
| Zhang et al. | Residual attentive feature learning network for salient object detection | |
| CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
| CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
| CN114529894A (zh) | 一种融合空洞卷积的快速场景文本检测方法 | |
| CN117830869A (zh) | 基于门控混合注意力的高分遥感场景分类方法 | |
| CN115641317B (zh) | 面向病理图像的动态知识回溯多示例学习及图像分类方法 | |
| CN111046869B (zh) | 一种基于深度学习的显著区域提取方法及系统 | |
| CN112884022B (zh) | 一种基于图像平移的无监督深度表征学习方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230823 Address after: 1-1201-1, 12th Floor, No. 87 West Third Ring North Road, Haidian District, Beijing, 100048 Applicant after: Beijing Tengxin soft Innovation Technology Co.,Ltd. Address before: 100101, No. 97 East Fourth Ring Road, Chaoyang District, Beijing Applicant before: Beijing Union University |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |