CN105701508B - 基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法 - Google Patents

基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法 Download PDF

Info

Publication number
CN105701508B
CN105701508B CN201610019206.8A CN201610019206A CN105701508B CN 105701508 B CN105701508 B CN 105701508B CN 201610019206 A CN201610019206 A CN 201610019206A CN 105701508 B CN105701508 B CN 105701508B
Authority
CN
China
Prior art keywords
mrow
msup
msub
global
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610019206.8A
Other languages
English (en)
Other versions
CN105701508A (zh
Inventor
王飞
汪子钦
姜沛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201610019206.8A priority Critical patent/CN105701508B/zh
Publication of CN105701508A publication Critical patent/CN105701508A/zh
Application granted granted Critical
Publication of CN105701508B publication Critical patent/CN105701508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于多级卷积神经网络的显著性检测算法，包括使用大感受野的全局估计模型做全局显著性估计；训练全局估计模型时，使用全连接层作为输出层训练并初始化部分卷积层参数；使用多个交替的卷积层和升采样层替换全连接层，训练并得到更优的全局显著性估计图；使用感受野小、输出图片尺寸大的局部卷积神经网络融合全局和局部信息，得到高质量的显著性图。经过局部卷积神经网络的处理，可以将原始图像作为模型的输入，最终的输出的结果不仅与原始输入图像具有相同大小，并且更加清晰。提供的基于多级卷积神经网络的显著性检测算法，相比传统方法，拥有更高的准确性，能更准确找到显著目标的同时，目标轮廓也更加清晰。

Description

基于多级卷积神经网络的全局-局部优化模型及显著性检测 算法
【技术领域】
本发明涉及一种基于深度卷积神经网络的自然图像中视觉显著性检测的方法，应用于复杂背景下显著目标区域的检测。
【背景技术】
人类的视觉可以很快地找到周围环境中的显著目标，忽略掉一些人类不感兴趣的信息，并关注视觉图像中重要的部分，这样可以避免大脑处理繁杂而用处不大的信息。视觉显著性检测就是为了模拟人的快速感知环境行为。
随着各种数码设备的普及以及互联网的高速发展，各种图片、视频数据越来越多。与人的视觉类似，计算机可以通过图像或视频的显著性检测来提取图片中显著性信息，快速定位图像中需要处理的区域。通过视觉显著性检测，可以将计算资源优先分配给图像中的主要区域，减少计算开销，在计算机视觉领域意义重大。视觉显著性是很多视觉检测任务的重要步骤，在很多计算机视觉领域都起到了很大的作用，如目标检测与识别、自适应压缩、图像分割、图像检索、基于内容感知的图像编辑等。
神经网络提出时与生物学系统紧密相连，模拟了生物神经元的结构和功能。在BP算法提出后，神经网络能解决许多基本的学习问题。在之后的几十年中，发展出了许多新的方法和技术，例如非监督的权重预训练技术、模型的设计和训练方法，也由此引出了深度学习技术。LeCun在1998年提出了LeNet-5，成功应用于手写体识别并被认为是手写体识别领域评判算法识别性能的标准。随后，卷积神经网络在许多模式识别任务上都取得了很好的效果。使用深度学习技术有助于显著性检测算法取得更鲁棒、更优秀的效果。
现有准确率较高的算法大多使用了过分割技术作为预处理手段，再通过判断每一个分割区域是否显著生成显著性图。这种方法的效果以及运算速度很大地依赖于分割算法，一方面显著目标的边界划分完全依赖于分割算法的分割精度，另一方面运行速度完全受限于分割算法的速度。
【发明内容】
本发明提供了一种基于多级卷积神经网络的显著性检测算法，其目的在于检测、查找自然图像中的显著目标，提高算法的准确度和运行速度。
本发明采用以下技术方案：
一种基于多级卷积神经网络的全局-局部优化模型，包括：全局估计模型和局部优化模型；所述全局估计模型包括初始化分支通路和主通路，所述初始化分支通路由A部分和B部分级联组成，所述主通路由A部分和C部分级联组成；其中，A部分由卷积层和池化层组成；B部分由两个级联的全连接层组成；C部分由多个卷积层和升采样层级联组成；A部分的输入连接原始图像，A部分的输出分别与B部分和C部分的输入连接，C部分的输出作为全局估计模型的输出；局部优化模型主要由卷积层、池化层、升采样层组成，分为D、E两部分；其中，D部分的输入端与原始图像相连，D部分的输出端与全局估计模型的输出端一起输入到E部分的输入端，E部分的输出端即为局部优化模型的输出。
优选地，A部分由七个卷积层和三个池化层组成，其连接关系为：
conv1-pool1-conv2-conv3-conv4-pool2-conv5-conv6-pool3-conv7，
其中，conv1为输入端，与原始图像连接，conv7为输出端。
优选地，所述C部分的连接为：
upscale1-conv8-conv9-conv10-upscale2-conv11-conv12-upscale3-conv13-conv14-conv15。
一种基于多级卷积神经网络的显著性检测算法，包括以下步骤：
S1：以原始图像作为训练样本，以标准图像为样本标注，通过初始化分支通路对全局估计模型中A部分的参数进行初始化，生成粗略的全局显著性估计图；
S2：以原始图像作为训练样本，以标准图像为样本标注，通过主通路对全局估计模型中C部分的参数进行训练，得到高质量的全局显著性估计图；
S3：以原始图像作为训练样本，以标准图像为样本标准，以得到的粗略的全局显著性图作为参考，对局部优化模型进行训练，即可得到最终的显著性图。
优选地，作为训练样本的原始图像和作为样本标注的标准图像的缩放大小以由所应用的模块决定。
优选地，步骤S2的训练过程中，A部分中的参数固定不变，训练采用以下公式作为损失函数：
θ2＝{PconvC}
其中，x为输入，y为ground truth，θ2为C部分的所有参数。
优选地，步骤S3中的训练采用以下公式作为损失函数：
其中，x为输入的原始图像，xGE为全局显著性估计图输入，y为ground truth，θ3为局部优化模块的所有参数。
优选地，步骤S1中的初始化采用以下公式作为损失函数：
θ1＝{PconvA,PFCs}
hGI表示该网络的预测结果，x为输入，y为ground truth，θ1为A部分和B部分的所有参数。
与现有技术相比，本发明至少具有以下有益效果：本发明首先搭建了一种基于多级卷积神经网络的全局-局部优化模型，包括全局估计模型(GEM)和局部优化模型(RfM)；所述全局估计模型包括初始化分支通路和主通路，所述初始化分支通路由A部分和B部分级联组成，所述主通路由A部分和C部分级联组成；其中，A部分由卷积层和池化层组成；B部分由两个级联的全连接层(FC)组成；C部分由多个卷积层和升采样层级联组成；A部分的输入连接原始图像，A部分的输出分别与B部分和C部分的输入连接，C部分的输出为全局估计模型的输出；局部优化模型(RfM)主要由卷积层、池化层、升采样层组成，分为D、E两部分；其中，D部分的输入端与原始图像相连，D部分的输出端与全局估计模型的输出端一起输入到E部分的输入端，E部分的输出端即为局部优化模型的输出。首先对全局估计模型中A部分的参数进行初始化，得到粗略的全局显著性图；然后对全局估计模型中C部分的参数进行训练，得到高质量的全局显著性图；最后以得到的高质量的全局显著性图作为参考，对局部优化模型进行训练，即可得到最终的显著性图。本发明可以将原始图像作为模型的输入，最终的输出的结果不仅与原始输入图像具有相同大小，并且更加清晰。
【附图说明】
图1是本发明具体实施的一种卷积神经网络结构示意图，其中conv表示卷积层，pool表示池化层，upscale表示升采样层，FC表示全连接层；
图2是本发明的实验结果，由左至右：原图、全局显著性图、最终显著性图、标准显著性图；
图3是本发明与其他方法的查准率-查全率曲线(Pricition-Recall curve,简称PR curve)对比。
【具体实施方式】
本发明提供了一种基于多级卷积神经网络的显著性检测算法，所述的基于卷积神经网络的全局-局部优化模型(GE-RM)由全局估计模型(GEM)和局部优化模型(RfM)组成；
全局估计模型有两个输出通路，初始化分支通路和主通路。
全局估计模型的初始化分支通路由A部分和B部分级联组成，A部分由七个卷积层和三个池化层组成，优选的连接顺序为：
conv1-pool1-conv2-conv3-conv4-pool2-conv5-conv6-pool3-conv7，
其中，conv1为输入端；
B部分由两个级联的全连接层(FC)组成，其中末端的全连接层作为输出层；优选地，输出层有4096个输出单元，可组成一张64x64的显著性图。
全局估计模型的主通路由A部分和C部分级联组成，其中A部分与上述相同。
主通路的输出通路为C部分，由多个卷积层和升采样层级联组成，优选的连接顺序为：upscale1-conv8-conv9-conv10-upscale2-conv11-conv12-upscale3-conv13-conv14-conv15，其中，upscale1连接在A部分的末端(conv7)之后，conv15为输出端；
局部优化模型(RfM)由卷积层、池化层、升采样层组成，分为D和E两部分。
局部优化模型(RfM)有两个输入，及原始图像和由全局估计模型产生的全局显著性图；原始图像输入到D部分的输入端，全局显著性图与D部分的输出一起输入到E部分的输入端，E部分的输出端即为局部优化模型的输出端。
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
具体实施步骤如下：
1、首先使用全连接层作为输出层初始化全局估计模型的A部分参数。
将原始输入图片和标准显著性图缩放到固定大小作为训练的样本和样本标注。
优选地，该部分的卷积神经网络由七个卷积层、三个pooling层、两个全连接层组成(即A部分和B部分)，输入图像数据尺寸固定为[W,W,3]，其中，W为图像的边长，优选为200至300大小，3代表图像的三个色彩通道，即RGB色彩通道。网络的输出层为全连接层，输出层拥有N乘N个神经元，网络输出一幅大小为[N,N]的显著性图，N一般远小于W。
使用随机梯度下降算法训练该A部分的参数，并生成粗略的全局显著性估计图；
A部分和B部分构成的网络的目的在于求解像素点j属于显著目标的概率Sj，可记为：
Sj＝P(yj＝1|x；θ1)
θ1是该网络的参数,yj是网络对像素点j的显著性估计值，S则代表整幅显著性图，x代表输入数据。
在网络的输出层是一个逻辑回归分类器，使用sigmoid函数作为激活函数：
网络的输出值被归一化到(0,1)，其中，“1”代表显著目标的像素，“0”代表背景目标的像素。
网络的损失函数可记为：
θ1＝{PconvA,PFCs}
式中hGI表示该网络的预测结果，x为输入，y为ground truth，θ1包含卷积层集合A＝{conv1～7}的参数。式中m为样本数量，PconvA表示A部分的参数，PFCs表示B部分全连接层(FC)的参数。
2、训练全局估计模型中C的参数。保留上一步中卷积神经网络的卷积层参数(即保留A部分的参数)，将其中的所有全连接层替换为多个卷积层和多个升采样层，即得到C部分，训练并得到高质量的全局显著性估计图；
保留上一步中卷积神经网络的卷积层(conv1～conv7)，将全局估计模型中的所有全连接层移除，替换为多个交替的卷积层和升采样层(upscale layers)；
具体地，所述的升采样层作用在于通过双线性插值，将上一层输出的特征图以倍数S放大，并输出到下一层网络，一般S值设为2倍。升采样层仅执行图像放大操作，不包含任何可学习的参数。
训练替换后的全局估计模型，确保全局估计模型中经训练过的卷积层(conv1～conv7)的参数固定不变，仅训练新加入的卷积层(conv8～conv15)的参数，并生成全局显著性估计图；
网络的损失函数可表示为：
θ2＝{PconvC}
式中x为输入，y为ground truth，θ2包含替换后的全局估计模型的所有卷积层(conv8～conv15)的参数，记为PconvC。
3、训练局部优化模块，得到最终的显著性图。
具体地，将原始图片作为局部优化网络模块的输入，标准显著性图作为局部优化网络模块的训练标注，同时将由步骤2生成的全局显著性估计图缩放后输入到局部优化网络模块中；
局部优化网络模块的主体输入为大小为[w,h,3]的原始图像数据，其中w为图像宽度，h为图像高度，3代表图像的RGB颜色通道。局部优化网络模块同时将步骤S22中生成的全局显著性估计图调整到合适大小后输入到网络中，作为一个特征图像。局部优化网络模块中包含多个卷积层，少量pooling层和少量升采样层。并且pooling层的下采样倍数S0和升采样层的升采样倍数S相等，因此该网络的输出尺寸与输出尺寸大小相等，即输出的全局显著性估计图大小与输入的原始图像大小相等。
优选地，局部优化网络模块包含多个卷积层，一个pooling层和一个升采样层，并且pooling层的下采样倍数S0和升采样层的升采样倍数S均设为2。全局显著性估计图缩放后输入到局部优化网络模块的中间部分为优。
使用随机梯度下降算法训练该局部优化网络模块，并生成最终的全局显著性图。在网络的输出层是一个逻辑回归分类器，网络的损失函数可记为：
式中x为输入的原始图像，xGE为全局显著性估计图输入，y为ground truth，θ3为局部优化网络模块的网络参数。
4、通过全局、局部两个模型得到最终实验结果。首先将原始自然图像缩放到WxW大小，输入全局估计模型并得到全局显著性图；之后将原始图像和全局显著性图输入到局部优化网络模块中，得到最终的显著性图。
本发明采用查准率-查全率曲线(Pricition-Recall curve,简称PR curve)进行评估，并与多种算法在MSRA10K数据集的测试集上进行测试。

Claims (1)

1.一种基于多级卷积神经网络的全局-局部优化模型的显著性检测算法，其特征在于，
基于多级卷积神经网络的全局-局部优化模型包括：全局估计模型(GEM)和局部优化模型(RfM)；
所述全局估计模型包括初始化分支通路和主通路，所述初始化分支通路由A部分和B部分级联组成，所述主通路由A部分和C部分级联组成；其中，A部分由卷积层conv和池化层pool组成；B部分由两个级联的全连接层(FC)组成；C部分由多个卷积层conv和升采样层upscale级联组成；A部分的输入连接原始图像，A部分的输出分别与B部分和C部分的输入连接，C部分的输出作为全局估计模型主通路的输出；
局部优化模型(RfM)由卷积层、池化层、升采样层组成，分为D、E两部分；其中，D部分的输入端与原始图像相连，D部分的输出端与全局估计模型的输出端一起输入到E部分的输入端，E部分的输出端即为局部优化模型的输出；
A部分由七个卷积层和三个池化层组成，其连接关系为：
conv1-pool1-conv2-conv3-conv4-pool2-conv5-conv6-pool3-conv7，
其中，conv1为输入端，与原始图像连接，conv7为输出端；
C部分的连接为：
upscale1-conv8-conv9-conv10-upscale2-conv11-conv12-upscale3-conv13-conv14-con v15；
具体方法包括以下步骤：
S1：以原始图像作为训练样本，以标准图像为样本标注，通过初始化分支通路对全局估计模型中A部分的参数进行初始化，生成粗略的全局显著性估计图；
初始化采用以下公式作为损失函数：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;theta;</mi> <mn>1</mn> </msub> <mo>;</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <mo>&amp;lsqb;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <mi>y</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>h</mi> <mrow> <mi>G</mi> <mi>I</mi> </mrow> </msub> <mo>(</mo> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>y</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mrow> <mi>G</mi> <mi>I</mi> </mrow> </msub> <mo>(</mo> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>
θ1＝{PconvA,PFCs}
hGI表示该网络的预测结果，x为输入，y为ground truth，θ1为A部分和B部分的所有参数，m为输出结果总的像素点个数，PconvA表示A部分的参数，PFCs表示B部分全连接层(FC)的参数；
S2：以原始图像作为训练样本，以标准图像为样本标注，通过主通路对全局估计模型中C部分的参数进行训练，得到高质量的全局显著性估计图；
训练过程中，A部分中的参数固定不变，训练采用以下公式作为损失函数：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;theta;</mi> <mn>2</mn> </msub> <mo>;</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <mo>&amp;lsqb;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mn>1</mn> </munderover> <mn>1</mn> <mo>{</mo> <msup> <mi>y</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mi>j</mi> <mo>}</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>(</mo> <mrow> <msup> <mi>y</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mi>j</mi> <mo>|</mo> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>2</mn> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>
θ2＝{PconvC}
其中，x为输入，y为ground truth，θ2为C部分的所有参数；
S3：以原始图像作为训练样本，以标准图像为样本标注，以得到的高质量的全局显著性估计图作为参考，对局部优化模型进行训练，即可得到最终的显著性图；
训练采用以下公式作为损失函数：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;theta;</mi> <mn>3</mn> </msub> <mo>;</mo> <mi>x</mi> <mo>,</mo> <msub> <mi>x</mi> <mrow> <mi>G</mi> <mi>E</mi> </mrow> </msub> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <mo>&amp;lsqb;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mn>1</mn> </munderover> <mn>1</mn> <mo>{</mo> <msup> <mi>y</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mi>j</mi> <mo>}</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>(</mo> <mrow> <msup> <mi>y</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mi>j</mi> <mo>|</mo> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>3</mn> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>
其中，x为输入的原始图像，xGE为全局显著性估计图输入，y为ground truth，θ3为局部优化模型的所有参数。
CN201610019206.8A 2016-01-12 2016-01-12 基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法 Active CN105701508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610019206.8A CN105701508B (zh) 2016-01-12 2016-01-12 基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610019206.8A CN105701508B (zh) 2016-01-12 2016-01-12 基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法

Publications (2)

Publication Number Publication Date
CN105701508A CN105701508A (zh) 2016-06-22
CN105701508B true CN105701508B (zh) 2017-12-15

Family

ID=56226289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610019206.8A Active CN105701508B (zh) 2016-01-12 2016-01-12 基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法

Country Status (1)

Country Link
CN (1) CN105701508B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018023734A1 (zh) * 2016-08-05 2018-02-08 深圳大学 一种3d图像的显著性检测方法
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN106447658B (zh) * 2016-09-26 2019-06-21 西北工业大学 基于全局和局部卷积网络的显著性目标检测方法
CN107122796B (zh) * 2017-04-01 2019-07-12 中国科学院空间应用工程与技术中心 一种基于多分支网络融合模型的光学遥感图像分类方法
CN107423747B (zh) * 2017-04-13 2019-09-20 中国人民解放军国防科学技术大学 一种基于深度卷积网络的显著性目标检测方法
CN107169954B (zh) * 2017-04-18 2020-06-19 华南理工大学 一种基于并行卷积神经网络的图像显著性检测方法
CN107292875A (zh) * 2017-06-29 2017-10-24 西安建筑科技大学 一种基于全局‑局部特征融合的显著性检测方法
CN107341798B (zh) * 2017-07-06 2019-12-03 西安电子科技大学 基于全局-局部SPP Net的高分辨SAR图像变化检测方法
CN107833220B (zh) * 2017-11-28 2021-06-11 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108389182B (zh) * 2018-01-24 2020-07-17 北京卓视智通科技有限责任公司 一种基于深度神经网络的图像质量检测方法及装置
CN108960347B (zh) * 2018-03-28 2021-10-22 中国科学院软件研究所 一种卷积神经网络手写体识别排序稳定性的效果评估系统及方法
CN110443266B (zh) * 2018-05-04 2022-06-24 上海商汤智能科技有限公司 对象预测方法及装置、电子设备和存储介质
CN109034044B (zh) * 2018-06-14 2022-04-05 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN110795964B (zh) * 2018-08-01 2022-11-18 珠海格力电器股份有限公司 扫地机器人清扫方法及装置
CN109242864B (zh) * 2018-09-18 2021-09-24 电子科技大学 基于多分支网络的图像分割结果质量评价方法
CN111435448B (zh) * 2019-01-11 2024-03-05 中国科学院半导体研究所 图像显著性物体检测方法、装置、设备及介质
CN110189249B (zh) * 2019-05-24 2022-02-18 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备和存储介质
CN111160354B (zh) * 2019-12-30 2022-06-17 哈尔滨工程大学 一种基于联合图像信息的海天背景下船舶图像分割方法
CN111768375B (zh) * 2020-06-24 2022-07-26 海南大学 一种基于cwam的非对称gm多模态融合显著性检测方法及系统
CN112633112A (zh) * 2020-12-17 2021-04-09 中国人民解放军火箭军工程大学 一种基于融合卷积神经网络的sar图像目标检测方法
CN113239981B (zh) * 2021-04-23 2022-04-12 中国科学院大学 局部特征耦合全局表征的图像分类方法
CN113468975B (zh) * 2021-06-09 2024-07-12 浙江大华技术股份有限公司 打架行为检测方法及装置
CN114581747A (zh) * 2022-03-04 2022-06-03 西安交通大学 基于局部和全局上下文融合的显著性目标检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218832A (zh) * 2012-10-15 2013-07-24 上海大学 基于图像中全局颜色对比度和空域分布的视觉显著性算法
CN103955718A (zh) * 2014-05-15 2014-07-30 厦门美图之家科技有限公司 一种图像主体对象的识别方法
CN105069779A (zh) * 2015-07-20 2015-11-18 童垸林 一种建筑陶瓷表面花纹图案质量检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218832A (zh) * 2012-10-15 2013-07-24 上海大学 基于图像中全局颜色对比度和空域分布的视觉显著性算法
CN103955718A (zh) * 2014-05-15 2014-07-30 厦门美图之家科技有限公司 一种图像主体对象的识别方法
CN105069779A (zh) * 2015-07-20 2015-11-18 童垸林 一种建筑陶瓷表面花纹图案质量检测方法

Also Published As

Publication number Publication date
CN105701508A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN105701508B (zh) 基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN110232394B (zh) 一种多尺度图像语义分割方法
CN108491880B (zh) 基于神经网络的物体分类和位姿估计方法
CN113807355B (zh) 一种基于编解码结构的图像语义分割方法
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN108171701B (zh) 基于u网络和对抗学习的显著性检测方法
CN109726627B (zh) 一种神经网络模型训练及通用接地线的检测方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN110188817A (zh) 一种基于深度学习的实时高性能街景图像语义分割方法
CN113128558B (zh) 基于浅层空间特征融合与自适应通道筛选的目标检测方法
CN108647585A (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN106372648A (zh) 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN107679462A (zh) 一种基于小波的深度多特征融合分类方法
CN111046917B (zh) 基于深度神经网络的对象性增强目标检测方法
CN113436227A (zh) 一种基于倒残差的孪生网络目标跟踪方法
CN111882620B (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN110956119B (zh) 一种图像中目标检测的方法
CN111461213A (zh) 一种目标检测模型的训练方法、目标快速检测方法
CN110490155B (zh) 一种禁飞空域无人机检测方法
CN114048822A (zh) 一种图像的注意力机制特征融合分割方法
CN109508639B (zh) 基于多尺度带孔卷积神经网络的道路场景语义分割方法
CN113052755A (zh) 一种基于深度学习的高分辨率图像智能化抠图方法
CN114820579A (zh) 一种基于语义分割的图像复合缺陷的检测方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant